VeroRoute Edge Logo
VeroRoute Edge Serverless AI Gateway
GitHub
⚡ Gateway de IA Serverless na Borda

VeroRoute Edge

Roteador inteligente, balanceador de carga em cascata e gateway universal compatível com OpenAI, operando 100% serverless na rede global da Cloudflare.

Logotipo Oficial VeroRoute Edge
0ms Cold Start
Executado como Cloudflare Worker isolado V8, entregando latência de inicialização praticamente nula em mais de 300 data centers globais.
🛡️
Cascata Auto-Cura
Detecção contínua de erros HTTP 429, 500 ou timeouts. O gateway salta instantaneamente para o próximo provedor sem interromper a chamada.
🌐
17+ Provedores
Unifica Cloudflare Workers AI, Gemini, Groq, DeepSeek, Cerebras, Mistral, Together, OpenRouter sob o dialeto padrão OpenAI.
🔍
Busca Web & RAG
Capacidade nativa de consulta à web via SearXNG privado, DuckDuckGo sem chaves ou Tavily, injetando fatos frescos diretamente no contexto.
Arquitetura de Alto Nível

Como o VeroRoute Edge Processa Requisições

Diferente de gateways centralizados tradicionais que exigem servidores dedicados e bancos pesados, o VeroRoute Edge opera como uma camada de borda distribuída, interceptando, autenticando e roteando requisições com sobrecarga inferior a 5 milissegundos.

[1. Cliente / IDE / SDK] ➔ POST /v1/chat/completions (Bearer sk-vr-...)
▼ (Zero-RTT Ingress Anycast)
[2. VeroRoute Edge Worker] ➔ Validação de Token Virtual + Checagem de Cache Semântico no Cloudflare KV
▼ (Se miss no cache)
[3. Motor de Cascata & RAG] ➔ Resolução do Modelo/Combo + Injeção de Fatos Web (se enable_search: true)
▼ (Upstream Multiplexing)
[4. Provedores de IA Upstream] ➔ Workers AI | Gemini 2.5 | Groq | DeepSeek V3 (com Failover imediato se 429)
▼ (Stream SSE Rewriter)
[5. Resposta Streaming SSE para o Cliente] ➔ Normalizada em padrão OpenAI com métricas de uso e latência
Especificação de Engenharia

Arquitetura em 12 Camadas do VeroRoute Edge

O VeroRoute Edge foi projetado como uma esteira de processamento de ultra-baixa latência dividida em 12 camadas sequenciais e assíncronas, assegurando alta disponibilidade, conformidade com o padrão OpenAI e proteção contra sobrecarga.

Nível Camada de Execução Propósito & Mecânica Métricas / SLA
L1 Anycast Ingress & TLS Terminação TLS 1.3 nos 300+ PoPs da Cloudflare com handshake Zero-RTT e roteamento geográfico para o data center mais próximo do usuário. < 1ms latência
L2 Zero-Trust Token Inspection Validação de Bearer Tokens (chaves virtuais sk-vr-... ou segredo mestre AUTH_TOKEN) com proteção contra timing attacks e checagem no Cloudflare KV. O(1) look-up
L3 Semantic & Exact Cache Armazenamento em cache de respostas de completions com hash SHA-256 dos prompts normalizados e suporte a TTL dinâmico no Cloudflare KV (OMNI_CACHE). 90% redução de custo
L4 Sliding Window Rate Limiter Algoritmo de janela deslizante para controle de requisições por segundo/minuto por chave virtual ou IP, emitindo cabeçalhos X-RateLimit-* precisos. Proteção contra DDoS
L5 Budgeting & Token Accounting Estimativa e contabilidade de tokens de entrada e saída, bloqueando chamadas que excedam o limite financeiro diário ou mensal configurado na chave. Controle orçamentário
L6 Cascading Failover & Circuit Breaker Motor de cascata inteligente: se o modelo principal retornar 429, 500, 502, 503 ou expirar timeout de 45s, a requisição é transferida imediatamente para o próximo modelo/provedor da lista. 99.99% disponibilidade
L7 Request Normalization & Dialects Converte o payload padrão OpenAI (/v1/chat/completions) nos dialetos nativos de cada provedor (ex: Google Generative Language API, Workers AI API, Anthropic Messages API). Compatibilidade universal
L8 Web Search & Hybrid RAG Injector Quando o parâmetro enable_search: true está presente, executa buscas na web (SearXNG/DuckDuckGo/Tavily) e injeta os snippets mais relevantes nas mensagens de sistema do LLM. Respostas atualizadas
L9 HTTP/2 Multiplexing & SSE Buffer Abre conexões streaming HTTP/2 seguras e resilientes com o upstream, gerenciando buffers de chunks parciais e prevenindo quebras de JSON durante o streaming. Zero perda de chunks
L10 Response Normalization & SSE Rewriting Transforma o stream SSE bruto do provedor em eventos padrão data: {"choices":[{"delta":{"content":"..."}}]} com o nome do modelo solicitado original. Transparência para IDEs
L11 Async Telemetry & Event Logging Usa context.waitUntil() para registrar métricas de uso, tokens consumidos e tempo de resposta sem bloquear a entrega de resposta ao cliente. Zero overhead de I/O
L12 Self-Healing & Health Check Endpoint /health em tempo real reportando o estado dos namespaces KV, provedores upstream ativos e latência de borda. Diagnóstico contínuo
💡 Arquitetura Work-Conserving: Se todos os modelos de um combo estiverem operacionais, o VeroRoute Edge sempre seleciona o modelo de maior qualidade ou menor latência. Apenas quando ocorrem restrições de cota ou falha de infraestrutura o tráfego é rebalanceado em cascata.
Roteamento Inteligente

O que são Combos no VeroRoute Edge?

No VeroRoute Edge, o nome do combo é o modelo. Um combo é um alias virtual que agrupa múltiplos modelos e provedores de IA sob um único identificador, gerenciando failover automático e balanceamento de carga sem qualquer alteração no seu código cliente.

1. Transparência Total
Para suas aplicações (Cursor, Cline, Python, LangChain), o combo se comporta exatamente como qualquer modelo OpenAI tradicional.
2. Resiliência a 429
Se o provedor primário esgotar a cota gratuita ou retornar erro 429 (Rate Limit), o gateway avança para o próximo alvo da lista em menos de 100ms.
3. Otimização de Custos
Priorize modelos ultra-rápidos e gratuitos no topo da lista, mantendo modelos pagos e robustos como alvos de contingência.

Exemplos Práticos de Combos Recomendados

Nome do Combo Alvo Primário (Alta Prioridade) Failover 1 (Contingência Rápida) Failover 2 (Garantia de Uptime) Caso de Uso Ideal
deepseek-coder-combo DeepSeek V3 / Coder Groq LLaMA-3.3-70B Gemini 2.5 Flash Desenvolvimento de software, Cursor IDE, refatoração de código
fast-reasoner-combo DeepSeek R1 (Groq) Gemini 2.5 Thinking Together DeepSeek R1 Raciocínio lógico, matemática, resolução de bugs complexos
free-tier-infinite-combo Workers AI (Llama 3.3) Gemini Flash (Gratuito) Groq (30 RPM Free) Aplicações com custo financeiro rigorosamente zero (100% Free)

Como Utilizar um Combo na sua Aplicação

Basta passar o nome do combo diretamente no campo "model" da requisição para o seu worker VeroRoute Edge:

cURL — Chamada com Combo de Failover
curl -X POST https://seu-veroroute.workers.dev/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-vr-sua-chave-virtual" \
  -d '{
    "model": "deepseek-coder-combo",
    "messages": [
      {"role": "user", "content": "Escreva uma função TypeScript para ordenar arrays com merge sort."}
    ],
    "temperature": 0.2,
    "stream": true
  }'

Como os Combos São Declarados na Configuração do Gateway

No projeto original do gateway, os combos são definidos como um array JSON de modelos ordenados por prioridade, seja via variável de ambiente DEFAULT_COMBOS_JSON no wrangler.jsonc ou via Cloudflare KV:

JSON — Definição Estrutural de Combos
{
  "deepseek-coder-combo": {
    "description": "Combo de alta performance para programação com cascata automática",
    "targets": [
      { "provider": "deepseek", "model": "deepseek-chat", "timeoutMs": 40000 },
      { "provider": "groq", "model": "llama-3.3-70b-versatile", "timeoutMs": 15000 },
      { "provider": "gemini", "model": "gemini-2.5-flash", "timeoutMs": 30000 }
    ]
  }
}
Ecossistema de Modelos

Matriz de 17+ Provedores de IA Homologados

O VeroRoute Edge normaliza nativamente os diferentes protocolos e dialetos de cada provedor em um único padrão universal compatível com a especificação OpenAI v1.

Provedor Modelos de Destaque Disponibilidade Gratuita / Free Tier Streaming SSE Velocidade / Latência
Cloudflare Workers AI @cf/meta/llama-3.3-70b-instruct, qwen2.5-coder 10.000 neurônios/dia grátis Sim Borda global direta
Google Gemini gemini-2.5-flash, gemini-2.5-flash-thinking 15 RPM / 1M TPM grátis no AI Studio Sim Ultra-rápido
Groq Cloud llama-3.3-70b-versatile, deepseek-r1-distill-llama-70b 30 RPM / 14.400 RPD grátis Sim 500+ tokens/segundo
Cerebras llama-3.3-70b, llama-3.1-8b 30 RPM grátis Sim 1.800+ tokens/segundo
DeepSeek Oficial deepseek-chat (V3), deepseek-reasoner (R1) Custo ultra-acessível ($0.14/M) Sim Alta acurácia
Mistral AI codestral-latest, mistral-small-latest Tier gratuito para desenvolvimento Sim Excelente para código
Together AI deepseek-ai/DeepSeek-R1, meta-llama/Llama-3.3-70B $5 em créditos de boas-vindas Sim Alta escalabilidade
OpenRouter Catálogo com mais de 200 modelos (incluindo modelos :free) Modelos gratuitos disponíveis Sim Meta-gateway flexível
OpenAI gpt-4o, gpt-4o-mini, o3-mini, o1 Pago conforme uso Sim Referência da indústria
Anthropic claude-3-5-sonnet-20241022, claude-3-5-haiku-20241022 Pago conforme uso Sim Superior em raciocínio
Cohere command-r-plus, command-r Trial grátis para desenvolvedores Sim Especialista em RAG
GitHub Models Modelos Azure OpenAI e Meta via token do GitHub Gratuito com limites diários Sim Ideal para prototipagem
Instalação & Infraestrutura

Como Implantar o VeroRoute Edge no Cloudflare Workers

O VeroRoute Edge foi arquitetado para rodar inteiramente no plano gratuito da Cloudflare (Workers Free Tier: 100.000 requisições diárias + 10.000 neurônios de Workers AI por dia sem nenhum custo).

1
Clonar o Repositório Oficial

Clone o projeto e instale as dependências com o gerenciador de pacotes da sua preferência:

Terminal Bash
git clone https://github.com/samucamg/veroroute-edge.git
cd veroroute-edge
npm install
2
Criar os Namespaces KV no Cloudflare

O gateway utiliza dois namespaces de chave-valor: um para cache de respostas (OMNI_CACHE) e outro para chaves virtuais e configurações persistentes (OMNI_KEYS):

Terminal Bash
# Criar namespace de Cache
npx wrangler kv:namespace create OMNI_CACHE

# Criar namespace de Chaves e Configurações
npx wrangler kv:namespace create OMNI_KEYS

Copie os IDs retornados pelo Wrangler e atualize os campos correspondentes no seu arquivo wrangler.jsonc.

3
Configurar Segredos e Chaves de Provedores

Defina seu token mestre de autenticação (AUTH_TOKEN) e as chaves dos provedores que deseja disponibilizar na cascata:

Terminal Bash
# Token de autenticação mestre do seu gateway
npx wrangler secret put AUTH_TOKEN

# Chaves dos provedores desejados (adicione apenas os que você utiliza)
npx wrangler secret put GEMINI_API_KEY
npx wrangler secret put GROQ_API_KEY
npx wrangler secret put DEEPSEEK_API_KEY
npx wrangler secret put OPENROUTER_API_KEY
4
Publicar o Worker no Cloudflare Edge

Execute o comando de deploy. Em segundos seu gateway estará ativo globalmente:

Terminal Bash
npx wrangler deploy
5
Validar Saúde da Implantação

Consulte o endpoint de diagnóstico /health para confirmar a operação dos provedores e conectividade:

cURL
curl https://seu-worker.workers.dev/health
Integração & Clientes

Como Conectar suas Aplicações ao VeroRoute Edge

Como o VeroRoute Edge implementa fielmente o protocolo OpenAI v1 (/v1/chat/completions e /v1/models), você pode utilizar qualquer biblioteca, framework (LangChain, LlamaIndex) ou IDE de desenvolvimento simplesmente ajustando a base_url.

🐍 Python (SDK Oficial OpenAI)

Python 3
from openai import OpenAI

client = OpenAI(
    base_url="https://seu-worker.workers.dev/v1",
    api_key="sk-vr-sua-chave-virtual"  # ou seu AUTH_TOKEN
)

# Chamada com streaming e combo resiliente
stream = client.chat.completions.create(
    model="deepseek-coder-combo",
    messages=[
        {"role": "system", "content": "Você é um assistente técnico especialista."},
        {"role": "user", "content": "Como criar um middleware de autenticação assíncrono?"}
    ],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

⚡ TypeScript / Node.js

TypeScript
import OpenAI from 'openai';

const openai = new OpenAI({
  baseURL: 'https://seu-worker.workers.dev/v1',
  apiKey: 'sk-vr-sua-chave-virtual',
});

async function main() {
  const completion = await openai.chat.completions.create({
    model: 'deepseek-coder-combo',
    messages: [{ role: 'user', content: 'Explique o padrão Circuit Breaker em microsserviços.' }],
  });

  console.log(completion.choices[0].message.content);
}

main();

🛠️ Configuração Passo a Passo em IDEs e Agentes de Código

Cursor IDE

Acesse Settings ➔ Models no Cursor:

  • Ative OpenAI API Key e insira sua chave virtual ou AUTH_TOKEN.
  • Marque Override OpenAI Base URL e aponte para: https://seu-worker.workers.dev/v1
  • Em Add Model, adicione o nome do seu combo favorito: deepseek-coder-combo.
Cline (Extensão VS Code)

Nas configurações da extensão Cline:

  • Selecione API Provider: OpenAI Compatible.
  • Base URL: https://seu-worker.workers.dev/v1
  • API Key: Sua chave do gateway.
  • Model ID: deepseek-coder-combo ou llama-3.3-70b-versatile.
Solução de Problemas & Suporte

Perguntas Frequentes & Diagnóstico de Códigos de Status

Entenda o significado dos códigos HTTP retornados pelo gateway de IA e saiba como diagnosticar e resolver rapidamente cada cenário.

Causa: A requisição não incluiu o cabeçalho Authorization: Bearer <token> ou o token fornecido não coincide com o AUTH_TOKEN mestre e nem com nenhuma chave virtual sk-vr-... registrada no Cloudflare KV.

Solução: Verifique se a chave enviada no cliente está correta e se o segredo AUTH_TOKEN foi cadastrado no Worker através do comando npx wrangler secret put AUTH_TOKEN.

Causa: Um dos provedores gratuitos da esteira atingiu o limite de requisições por minuto (RPM) ou cota diária (RPD).

Como o VeroRoute Edge reage: O motor de cascata do gateway intercepta o 429 automaticamente e tenta o próximo provedor/modelo da lista sem interromper a conexão do seu cliente. Se todos os provedores do combo estiverem temporariamente saturados, o erro 429 é retornado indicando o tempo de retry sugerido.

Causa: O circuito de proteção foi acionado porque os provedores upstream falharam repetidamente (erros 500/502/504 ou timeout acima de 45 segundos).

Solução: Consulte a página de status dos provedores envolvidos ou adicione provedores adicionais ao combo para garantir redundância geográfica e de infraestrutura.

Causa: Configuração incorreta de SSL/TLS ou roteamento do subdomínio personalizado.

Solução: No Cloudflare Dashboard do seu domínio, certifique-se de que o modo de criptografia SSL/TLS está definido como Full ou Full (Strict), e que o subdomínio está corretamente vinculado em Workers & Pages ➔ [Seu Worker] ➔ Settings ➔ Triggers / Custom Domains.

Resposta: Não. O VeroRoute Edge é 100% serverless e foi construído para funcionar perfeitamente dentro dos limites gratuitos do Cloudflare Workers Free (até 100.000 requisições/dia gratuitas, 10.000 neurônios/dia no Workers AI e 1GB de leitura no KV sem custos).