RAG em produção: o que ninguém conta na demonstração

Montar uma prova de conceito de RAG é genuinamente simples: carregue os documentos, gere embeddings, guarde em um banco vetorial, recupere os trechos mais próximos e envie ao modelo. Funciona na demonstração. Costuma não funcionar quando encontra a base documental real da empresa.

Chunking é onde a qualidade se decide

A prática padrão de dividir o texto a cada 1.000 caracteres com sobreposição de 200 destrói exatamente o que importa em documentação corporativa. Tabelas de especificação são cortadas ao meio. Um item de norma perde o cabeçalho da seção que define seu escopo. Uma cláusula contratual é separada da definição do termo que ela usa.

O chunking precisa respeitar a estrutura do documento: quebrar por seção, manter tabelas íntegras e propagar o caminho hierárquico do título para dentro do chunk. Um trecho que começa com "Capítulo 4 › Instalação › Requisitos elétricos" é recuperado corretamente; o mesmo trecho sem contexto, não.

Busca puramente semântica erra o óbvio

Embeddings capturam similaridade de significado — e por isso falham justamente em identificadores. Códigos de produto, números de norma e nomes próprios são casos em que a busca léxica ganha com folga da semântica.

• Busca híbrida: combine BM25 com similaridade vetorial e funda os resultados com reciprocal rank fusion.
• Reranking: recupere entre 30 e 50 candidatos e reordene com um modelo de reranking antes de montar o contexto.
• Filtro por metadado: restrinja por tipo de documento, versão ou permissão do usuário antes da busca, não depois.

Sem conjunto de avaliação, você está adivinhando

Esta é a diferença mais visível entre um projeto que chega a produção e um que é descontinuado. Sem um conjunto de perguntas rotuladas, toda mudança de prompt vira opinião — e melhorar um caso enquanto se piora três outros passa despercebido.

1. Colete de 150 a 400 perguntas reais, extraídas do histórico de atendimento ou levantadas com os especialistas.
2. Rotule a resposta esperada e os documentos que deveriam ser recuperados.
3. Meça separadamente a recuperação (o trecho certo veio?) e a geração (a resposta usa o trecho corretamente?).
4. Execute o conjunto a cada alteração de prompt, modelo, chunking ou base — no pipeline, como qualquer teste.
5. Trate taxa de alucinação como métrica de release: acima do limiar acordado, não sobe.

Um sistema de IA sem conjunto de avaliação não é um sistema — é uma demonstração que por enquanto ainda funciona.

Admitir que não sabe é funcionalidade

O comportamento mais valioso de um assistente corporativo é reconhecer quando não há base documental para responder. Isso exige três coisas atuando juntas: instrução explícita no prompt, limiar mínimo de relevância na recuperação e um caminho de escalonamento para o atendimento humano.

Custo é decisão de arquitetura

A implementação ingênua envia o contexto máximo para o modelo mais caro em toda pergunta. As otimizações são conhecidas e o efeito combinado costuma ser de uma ordem de grandeza.

• Cache semântico: perguntas equivalentes reaproveitam a resposta anterior.
• Roteamento por complexidade: pergunta simples vai para o modelo menor.
• Contexto sob medida: enviar cinco trechos relevantes em vez de vinte por precaução.
• Cache de prompt: prefixos estáveis de instrução saem muito mais barato quando reaproveitados.

Segurança e privacidade não são etapa posterior

• Filtre a recuperação pela permissão do usuário — RAG sem controle de acesso vaza documento restrito com naturalidade.
• Trate proteção contra prompt injection, especialmente quando o conteúdo indexado vem de fontes externas.
• Registre entrada, contexto recuperado e saída para auditoria, respeitando a política de retenção.
• Em cenários com dado sensível, use Azure OpenAI com rede privada e residência de dados definida.

Nada disso é exótico. É a mesma engenharia que se aplica a qualquer sistema crítico — a diferença é que, com IA, a ausência dela produz um sistema que parece funcionar por mais tempo antes de falhar de forma visível.