LiteLLM
Overview
O CloudBroker lê a atividade diária do seu proxy LiteLLM (/user/daily/activity): gasto por mês, por modelo e por chave virtual (pelo apelido, nunca pelo hash da chave).
O gasto que o LiteLLM registra é o mesmo dinheiro que o provedor de IA (OpenAI, Anthropic…) já cobra, e que já aparece pelo conector do provedor. Por isso o LiteLLM nunca entra na DRE, em Custos SaaS nem no orçamento: ele aparece só como painel dentro do próprio card, para ver como o gasto se divide entre modelos e chaves.
Requisitos
- Um proxy LiteLLM acessível pela internet em HTTPS
- Uma chave com papel
proxy_admin_viewer(admin só leitura). Uma chave comum só vê o próprio gasto; a conexão detecta isso e pede o papel certo. - Ser o dono da conta no CloudBroker, com papel de administrador
O CloudBroker ainda não tem IP de saída fixo, então não dá para liberar só o nosso endereço no firewall. O acesso fica protegido pela chave. Endereço interno ou privado é recusado.
Campos
| Campo | Obrigatório | Descrição |
|---|---|---|
baseUrl | Sim | Endereço do proxy (https://…, sem usuário nem parâmetros) |
apiKey | Sim | Chave com papel proxy_admin_viewer |
Dado coletado
- Gasto por mês, modelo e chave virtual, em USD, como estimativa.
- Dia ilegível, fora da janela ou com gasto negativo marca a leitura como incompleta.
Segurança
A chave é cifrada com AES-256-GCM antes de persistir. A conexão só segue HTTPS, valida o endereço no momento da conexão e não segue redirecionamento.