O email de limite de taxa da API chegou às 16h de uma sexta-feira. Meu agente estava feliz processando solicitações a semana toda, e em algum momento entre a automação do café da manhã e a revisão de código da tarde, cruzou a linha.
Ficar limitado não é embaraçoso — isso acontece com todo mundo. Ficar limitado sem saber que você estava perto do limite é embaraçoso. Isso significa que você não tem visibilidade sobre seu consumo de API, e esse é um problema que eu deveria ter resolvido semanas antes.
Onde os Limites de Taxa Dóem
A maioria dos provedores de API de IA impõe múltiplos limites, e o que te pega nunca é o que você esperava:
Solicitações por minuto. O óbvio. Envie muitas solicitações em um curto espaço de tempo e você será limitado. Operações em lote são o culpado usual — processar 50 itens dispara 50 solicitações em rápida sucessão.
Tokens por minuto. Menos óbvio. Mesmo que você esteja enviando poucas solicitações, cada uma pode processar uma grande janela de contexto. Três solicitações com 50K tokens cada = 150K tokens por minuto, o que excede muitos limites do nível padrão.
Tokens por dia. O sorrateiro. Você pode estar bem dentro dos seus limites por minuto, mas acumular gradualmente ao longo do dia. Longas conversas, tarefas pesadas de cron e tarefas em segundo plano contribuem para isso.
Conexões simultâneas. A mais frustrante. Mesmo que você tenha orçamento restante, ter muitas conexões abertas simultâneas faz com que você seja limitado.
Minha Estratégia de Limite de Taxa
Depois de me queimar, construí uma abordagem de três camadas:
Camada 1: Conscientização. Um widget simples no painel mostrando o uso atual como uma porcentagem de cada limite. Atualizado a cada 60 segundos. Quando o uso excede 70%, o widget fica amarelo. A 90%, fica vermelho. Isso leva 10 minutos para implementar e economiza horas de surpresa.
Camada 2: Limitação automática. Quando o uso se aproxima de 80% de qualquer limite, o sistema automaticamente desacelera as solicitações não críticas. Mensagens interativas de usuário ainda passam imediatamente. Tarefas em segundo plano (cron jobs, processamento em lote) são enfileiradas e espalhadas por uma janela de tempo mais longa.
A implementação: um limitador de taxa de balde de token que fica entre o OpenClaw e a API. Ele rastreia o uso em relação a todos os quatro tipos de limite e controla as solicitações conforme necessário.
Camada 3: Degradação graciosa. Quando um limite é realmente atingido (resposta 429), o sistema:
1. Desacelera com um atraso exponencial (1s, 4s, 16s)
2. Muda tarefas não críticas para um modelo mais barato/lento, se disponível
3. Me alerta que um limite foi atingido (para que eu possa investigar se foi inesperado)
4. Enfileira quaisquer solicitações que podem esperar
A percepção chave: nem todas as solicitações são iguais. Um usuário esperando por uma resposta no Slack é muito diferente de um trabalho de análise em segundo plano. O limitador de taxa deve priorizar conforme necessário.
Reduzindo o Consumo da API
A melhor estratégia de limite de taxa é consumir menos tokens da API:
Cache de prompt. Se o mesmo prompt do sistema é enviado com cada solicitação (e geralmente é), pergunte ao seu provedor sobre cache de prompt. A Anthropic armazena a primeira parte do prompt e cobra menos por tokens em cache. Isso pode reduzir os custos em 30-50% para cargas de trabalho repetitivas.
Cache de resposta. Para perguntas que seu agente recebe repetidamente, armazene a resposta e sirva-a sem fazer uma nova chamada à API. “Qual é a nossa política de reembolso?” não precisa ser processado pelo modelo de IA toda vez.
Redução de contexto. A maior fonte única de consumo desnecessário de tokens é o contexto de conversa inchado. Mensagens antigas que não são relevantes para a pergunta atual ainda estão sendo enviadas para a API e consumindo tokens. Ative a compactação. Corte o histórico. Seja agressivo ao remover contexto irrelevante.
Roteamento inteligente de modelo. Tarefas simples (classificação, formatação, perguntas de sim/não) não precisam do seu modelo mais caro. Roteie-as para um modelo mais barato que seja adequado para a tarefa. Reserve o modelo premium para raciocínios complexos.
Monitorando o que Importa
As métricas que acompanho diariamente:
– Total de tokens consumidos (entrada e saída, separadamente)
– Tokens por interação (média e p95)
– Taxa de tentativa (que porcentagem de solicitações precisou ser refeito)
– Profundidade da fila (quantas solicitações em segundo plano estão esperando)
– Custo por interação (para orçamentação)
A métrica que é mais útil para otimização: tokens por interação. Se esse número subir ao longo do tempo, meu contexto está crescendo ou meus prompts estão se inchando. Se ele aumentar repentinamente, algo mudou que eu deveria investigar.
O Resultado Prático
Depois de implementar tudo isso:
– Zero eventos inesperados de limite de taxa nos últimos 4 meses
– Consumo de token reduzido em cerca de 35% (devido ao corte de contexto e roteamento inteligente)
– Custos da API reduzidos em cerca de 40% (devido ao cache de prompts e roteamento de modelo mais barato)
– Nenhum impacto na qualidade da resposta para interações com os usuários
O email de limite de taxa que começou tudo isso foi, na verdade, um presente. Ele me forçou a construir visibilidade e controle sobre meu consumo da API. Sem ele, eu ainda estaria voando às cegas, pagando mais do que o necessário e ocasionalmente me surpreendendo.
🕒 Published: