VeroRoute Edge
Roteador inteligente, balanceador de carga em cascata e gateway universal compatível com OpenAI, operando 100% serverless na rede global da Cloudflare.
Como o VeroRoute Edge Processa Requisições
Diferente de gateways centralizados tradicionais que exigem servidores dedicados e bancos pesados, o VeroRoute Edge opera como uma camada de borda distribuída, interceptando, autenticando e roteando requisições com sobrecarga inferior a 5 milissegundos.
Arquitetura em 12 Camadas do VeroRoute Edge
O VeroRoute Edge foi projetado como uma esteira de processamento de ultra-baixa latência dividida em 12 camadas sequenciais e assíncronas, assegurando alta disponibilidade, conformidade com o padrão OpenAI e proteção contra sobrecarga.
| Nível | Camada de Execução | Propósito & Mecânica | Métricas / SLA |
|---|---|---|---|
| L1 | Anycast Ingress & TLS | Terminação TLS 1.3 nos 300+ PoPs da Cloudflare com handshake Zero-RTT e roteamento geográfico para o data center mais próximo do usuário. | < 1ms latência |
| L2 | Zero-Trust Token Inspection | Validação de Bearer Tokens (chaves virtuais sk-vr-... ou segredo mestre AUTH_TOKEN) com proteção contra timing attacks e checagem no Cloudflare KV. |
O(1) look-up |
| L3 | Semantic & Exact Cache | Armazenamento em cache de respostas de completions com hash SHA-256 dos prompts normalizados e suporte a TTL dinâmico no Cloudflare KV (OMNI_CACHE). |
90% redução de custo |
| L4 | Sliding Window Rate Limiter | Algoritmo de janela deslizante para controle de requisições por segundo/minuto por chave virtual ou IP, emitindo cabeçalhos X-RateLimit-* precisos. |
Proteção contra DDoS |
| L5 | Budgeting & Token Accounting | Estimativa e contabilidade de tokens de entrada e saída, bloqueando chamadas que excedam o limite financeiro diário ou mensal configurado na chave. | Controle orçamentário |
| L6 | Cascading Failover & Circuit Breaker | Motor de cascata inteligente: se o modelo principal retornar 429, 500, 502, 503 ou expirar timeout de 45s, a requisição é transferida imediatamente para o próximo modelo/provedor da lista. | 99.99% disponibilidade |
| L7 | Request Normalization & Dialects | Converte o payload padrão OpenAI (/v1/chat/completions) nos dialetos nativos de cada provedor (ex: Google Generative Language API, Workers AI API, Anthropic Messages API). |
Compatibilidade universal |
| L8 | Web Search & Hybrid RAG Injector | Quando o parâmetro enable_search: true está presente, executa buscas na web (SearXNG/DuckDuckGo/Tavily) e injeta os snippets mais relevantes nas mensagens de sistema do LLM. |
Respostas atualizadas |
| L9 | HTTP/2 Multiplexing & SSE Buffer | Abre conexões streaming HTTP/2 seguras e resilientes com o upstream, gerenciando buffers de chunks parciais e prevenindo quebras de JSON durante o streaming. | Zero perda de chunks |
| L10 | Response Normalization & SSE Rewriting | Transforma o stream SSE bruto do provedor em eventos padrão data: {"choices":[{"delta":{"content":"..."}}]} com o nome do modelo solicitado original. |
Transparência para IDEs |
| L11 | Async Telemetry & Event Logging | Usa context.waitUntil() para registrar métricas de uso, tokens consumidos e tempo de resposta sem bloquear a entrega de resposta ao cliente. |
Zero overhead de I/O |
| L12 | Self-Healing & Health Check | Endpoint /health em tempo real reportando o estado dos namespaces KV, provedores upstream ativos e latência de borda. |
Diagnóstico contínuo |
O que são Combos no VeroRoute Edge?
No VeroRoute Edge, o nome do combo é o modelo. Um combo é um alias virtual que agrupa múltiplos modelos e provedores de IA sob um único identificador, gerenciando failover automático e balanceamento de carga sem qualquer alteração no seu código cliente.
Exemplos Práticos de Combos Recomendados
| Nome do Combo | Alvo Primário (Alta Prioridade) | Failover 1 (Contingência Rápida) | Failover 2 (Garantia de Uptime) | Caso de Uso Ideal |
|---|---|---|---|---|
deepseek-coder-combo |
DeepSeek V3 / Coder | Groq LLaMA-3.3-70B | Gemini 2.5 Flash | Desenvolvimento de software, Cursor IDE, refatoração de código |
fast-reasoner-combo |
DeepSeek R1 (Groq) | Gemini 2.5 Thinking | Together DeepSeek R1 | Raciocínio lógico, matemática, resolução de bugs complexos |
free-tier-infinite-combo |
Workers AI (Llama 3.3) | Gemini Flash (Gratuito) | Groq (30 RPM Free) | Aplicações com custo financeiro rigorosamente zero (100% Free) |
Como Utilizar um Combo na sua Aplicação
Basta passar o nome do combo diretamente no campo "model" da requisição para o seu worker VeroRoute Edge:
curl -X POST https://seu-veroroute.workers.dev/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-vr-sua-chave-virtual" \
-d '{
"model": "deepseek-coder-combo",
"messages": [
{"role": "user", "content": "Escreva uma função TypeScript para ordenar arrays com merge sort."}
],
"temperature": 0.2,
"stream": true
}'
Como os Combos São Declarados na Configuração do Gateway
No projeto original do gateway, os combos são definidos como um array JSON de modelos ordenados por prioridade, seja via variável de ambiente DEFAULT_COMBOS_JSON no wrangler.jsonc ou via Cloudflare KV:
{
"deepseek-coder-combo": {
"description": "Combo de alta performance para programação com cascata automática",
"targets": [
{ "provider": "deepseek", "model": "deepseek-chat", "timeoutMs": 40000 },
{ "provider": "groq", "model": "llama-3.3-70b-versatile", "timeoutMs": 15000 },
{ "provider": "gemini", "model": "gemini-2.5-flash", "timeoutMs": 30000 }
]
}
}
Como Funciona a Busca Web & RAG no VeroRoute Edge
O VeroRoute Edge conta com um módulo nativo de busca web que permite a qualquer modelo de IA acessar dados da internet em tempo real, eliminando alucinações sobre eventos recentes sem necessidade de bibliotecas adicionais no cliente.
Método 1: Endpoint Direto de Busca (/v1/search)
Ideal para agentes de IA, RAG pipelines e ferramentas autônomas que necessitam de snippets puros em formato JSON:
curl -X POST https://seu-veroroute.workers.dev/v1/search \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-vr-sua-chave-virtual" \
-d '{
"query": "Últimas notícias sobre avanços em inteligência artificial",
"limit": 5
}'
{
"query": "Últimas notícias sobre avanços em inteligência artificial",
"provider": "duckduckgo",
"results": [
{
"title": "Modelos de Raciocínio Aberto Ganham Destaque",
"url": "https://exemplo.com/noticia-ia",
"snippet": "Pesquisadores anunciam novos modelos com capacidades avançadas de raciocínio lógico..."
}
],
"latency_ms": 142
}
Método 2: Busca Transparente no Chat Completions (enable_search: true)
Ao enviar a flag "enable_search": true no corpo da requisição padrão do OpenAI, o VeroRoute Edge realiza a pesquisa na web antes de invocar o LLM e injeta os resultados no prompt do sistema:
from openai import OpenAI
client = OpenAI(
base_url="https://seu-veroroute.workers.dev/v1",
api_key="sk-vr-sua-chave-virtual"
)
response = client.chat.completions.create(
model="deepseek-coder-combo",
messages=[
{"role": "user", "content": "Qual foi a cotação do dólar hoje e os principais acontecimentos econômicos?"}
],
extra_body={
"enable_search": True # Ativa o injetor de RAG web na borda
}
)
print(response.choices[0].message.content)
Matriz de 17+ Provedores de IA Homologados
O VeroRoute Edge normaliza nativamente os diferentes protocolos e dialetos de cada provedor em um único padrão universal compatível com a especificação OpenAI v1.
| Provedor | Modelos de Destaque | Disponibilidade Gratuita / Free Tier | Streaming SSE | Velocidade / Latência |
|---|---|---|---|---|
| Cloudflare Workers AI | @cf/meta/llama-3.3-70b-instruct, qwen2.5-coder |
10.000 neurônios/dia grátis | Sim | Borda global direta |
| Google Gemini | gemini-2.5-flash, gemini-2.5-flash-thinking |
15 RPM / 1M TPM grátis no AI Studio | Sim | Ultra-rápido |
| Groq Cloud | llama-3.3-70b-versatile, deepseek-r1-distill-llama-70b |
30 RPM / 14.400 RPD grátis | Sim | 500+ tokens/segundo |
| Cerebras | llama-3.3-70b, llama-3.1-8b |
30 RPM grátis | Sim | 1.800+ tokens/segundo |
| DeepSeek Oficial | deepseek-chat (V3), deepseek-reasoner (R1) |
Custo ultra-acessível ($0.14/M) | Sim | Alta acurácia |
| Mistral AI | codestral-latest, mistral-small-latest |
Tier gratuito para desenvolvimento | Sim | Excelente para código |
| Together AI | deepseek-ai/DeepSeek-R1, meta-llama/Llama-3.3-70B |
$5 em créditos de boas-vindas | Sim | Alta escalabilidade |
| OpenRouter | Catálogo com mais de 200 modelos (incluindo modelos :free) |
Modelos gratuitos disponíveis | Sim | Meta-gateway flexível |
| OpenAI | gpt-4o, gpt-4o-mini, o3-mini, o1 |
Pago conforme uso | Sim | Referência da indústria |
| Anthropic | claude-3-5-sonnet-20241022, claude-3-5-haiku-20241022 |
Pago conforme uso | Sim | Superior em raciocínio |
| Cohere | command-r-plus, command-r |
Trial grátis para desenvolvedores | Sim | Especialista em RAG |
| GitHub Models | Modelos Azure OpenAI e Meta via token do GitHub | Gratuito com limites diários | Sim | Ideal para prototipagem |
Como Implantar o VeroRoute Edge no Cloudflare Workers
O VeroRoute Edge foi arquitetado para rodar inteiramente no plano gratuito da Cloudflare (Workers Free Tier: 100.000 requisições diárias + 10.000 neurônios de Workers AI por dia sem nenhum custo).
Clone o projeto e instale as dependências com o gerenciador de pacotes da sua preferência:
git clone https://github.com/samucamg/veroroute-edge.git
cd veroroute-edge
npm install
O gateway utiliza dois namespaces de chave-valor: um para cache de respostas (OMNI_CACHE) e outro para chaves virtuais e configurações persistentes (OMNI_KEYS):
# Criar namespace de Cache
npx wrangler kv:namespace create OMNI_CACHE
# Criar namespace de Chaves e Configurações
npx wrangler kv:namespace create OMNI_KEYS
Copie os IDs retornados pelo Wrangler e atualize os campos correspondentes no seu arquivo wrangler.jsonc.
Defina seu token mestre de autenticação (AUTH_TOKEN) e as chaves dos provedores que deseja disponibilizar na cascata:
# Token de autenticação mestre do seu gateway
npx wrangler secret put AUTH_TOKEN
# Chaves dos provedores desejados (adicione apenas os que você utiliza)
npx wrangler secret put GEMINI_API_KEY
npx wrangler secret put GROQ_API_KEY
npx wrangler secret put DEEPSEEK_API_KEY
npx wrangler secret put OPENROUTER_API_KEY
Execute o comando de deploy. Em segundos seu gateway estará ativo globalmente:
npx wrangler deploy
Consulte o endpoint de diagnóstico /health para confirmar a operação dos provedores e conectividade:
curl https://seu-worker.workers.dev/health
Como Conectar suas Aplicações ao VeroRoute Edge
Como o VeroRoute Edge implementa fielmente o protocolo OpenAI v1 (/v1/chat/completions e /v1/models), você pode utilizar qualquer biblioteca, framework (LangChain, LlamaIndex) ou IDE de desenvolvimento simplesmente ajustando a base_url.
🐍 Python (SDK Oficial OpenAI)
from openai import OpenAI
client = OpenAI(
base_url="https://seu-worker.workers.dev/v1",
api_key="sk-vr-sua-chave-virtual" # ou seu AUTH_TOKEN
)
# Chamada com streaming e combo resiliente
stream = client.chat.completions.create(
model="deepseek-coder-combo",
messages=[
{"role": "system", "content": "Você é um assistente técnico especialista."},
{"role": "user", "content": "Como criar um middleware de autenticação assíncrono?"}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
⚡ TypeScript / Node.js
import OpenAI from 'openai';
const openai = new OpenAI({
baseURL: 'https://seu-worker.workers.dev/v1',
apiKey: 'sk-vr-sua-chave-virtual',
});
async function main() {
const completion = await openai.chat.completions.create({
model: 'deepseek-coder-combo',
messages: [{ role: 'user', content: 'Explique o padrão Circuit Breaker em microsserviços.' }],
});
console.log(completion.choices[0].message.content);
}
main();
🛠️ Configuração Passo a Passo em IDEs e Agentes de Código
Acesse Settings ➔ Models no Cursor:
- Ative OpenAI API Key e insira sua chave virtual ou
AUTH_TOKEN. - Marque Override OpenAI Base URL e aponte para:
https://seu-worker.workers.dev/v1 - Em Add Model, adicione o nome do seu combo favorito:
deepseek-coder-combo.
Nas configurações da extensão Cline:
- Selecione API Provider: OpenAI Compatible.
- Base URL:
https://seu-worker.workers.dev/v1 - API Key: Sua chave do gateway.
- Model ID:
deepseek-coder-combooullama-3.3-70b-versatile.
Perguntas Frequentes & Diagnóstico de Códigos de Status
Entenda o significado dos códigos HTTP retornados pelo gateway de IA e saiba como diagnosticar e resolver rapidamente cada cenário.
Causa: A requisição não incluiu o cabeçalho Authorization: Bearer <token> ou o token fornecido não coincide com o AUTH_TOKEN mestre e nem com nenhuma chave virtual sk-vr-... registrada no Cloudflare KV.
Solução: Verifique se a chave enviada no cliente está correta e se o segredo AUTH_TOKEN foi cadastrado no Worker através do comando npx wrangler secret put AUTH_TOKEN.
Causa: Um dos provedores gratuitos da esteira atingiu o limite de requisições por minuto (RPM) ou cota diária (RPD).
Como o VeroRoute Edge reage: O motor de cascata do gateway intercepta o 429 automaticamente e tenta o próximo provedor/modelo da lista sem interromper a conexão do seu cliente. Se todos os provedores do combo estiverem temporariamente saturados, o erro 429 é retornado indicando o tempo de retry sugerido.
Causa: O circuito de proteção foi acionado porque os provedores upstream falharam repetidamente (erros 500/502/504 ou timeout acima de 45 segundos).
Solução: Consulte a página de status dos provedores envolvidos ou adicione provedores adicionais ao combo para garantir redundância geográfica e de infraestrutura.
Causa: Configuração incorreta de SSL/TLS ou roteamento do subdomínio personalizado.
Solução: No Cloudflare Dashboard do seu domínio, certifique-se de que o modo de criptografia SSL/TLS está definido como Full ou Full (Strict), e que o subdomínio está corretamente vinculado em Workers & Pages ➔ [Seu Worker] ➔ Settings ➔ Triggers / Custom Domains.
Resposta: Não. O VeroRoute Edge é 100% serverless e foi construído para funcionar perfeitamente dentro dos limites gratuitos do Cloudflare Workers Free (até 100.000 requisições/dia gratuitas, 10.000 neurônios/dia no Workers AI e 1GB de leitura no KV sem custos).