Deep Search com RL: a busca 100x mais barata, explicada

Deep search com RL é a abordagem que treina um modelo para buscar dentro de um banco de dados em vez de montar um pipeline fixo. A SID.ai, laboratório de busca fundado por Maximilian-David Rumpf, afirma que seu modelo SID-1 responde cerca de 20 vezes mais rápido e 100 vezes mais barato que um modelo de fronteira na mesma tarefa.

Deep Search com RL: o que a SID.ai propõe

Deep search com RL é buscar com um modelo treinado por reforço para conversar com um banco de dados até achar o documento certo, em vez de encadear modelos especializados em um pipeline fixo. A SID.ai é o laboratório que apresentou essa tese na conferência AI Engineer, em uma palestra descrita pelo próprio fundador como vinda de um laboratório 'stealthish'.

O argumento central é simples: a busca é verificável. Para uma pergunta existe uma resposta mensurável, você achou ou não achou o documento correto. Isso importa porque aprendizado por reforço precisa de recompensa verificável, e a busca entrega esse sinal sem depender de um avaliador humano ou de um modelo juiz.

O segundo requisito é ter um ambiente onde o modelo tente a mesma pergunta milhares de vezes durante o treino. Segundo o palestrante, a SID.ai roda esse ciclo milhares de vezes por segundo. Esses dois requisitos juntos, recompensa verificável e repetição massiva, colocam a busca entre os alvos mais favoráveis para RL.

O resultado que a empresa destaca é o modelo SID-1, além de uma variante com execução paralela. Ele recebe a pergunta, decide quando buscar, ler, filtrar e parar, e devolve uma lista ranqueada. Nenhuma etapa do pipeline clássico fica embutida como regra fixa.

Uma analogia do palestrante ajuda a entender por que especializar funciona. Um CPU consegue, em teoria, fazer qualquer coisa que uma GPU faz. Ninguém usa CPU para inferência de LLM, porque a versão especializada é muito mais eficaz. Com busca acontece o mesmo: não é preciso que todas as partes de um modelo de linguagem sejam excelentes em buscar, só a parte que importa para a tarefa.

Por que o pipeline clássico de busca acumula falhas

O pipeline clássico de busca encadeia modelos localmente ótimos e acumula uma cauda longa de falhas em perguntas que o projetista não previu. A pergunta passa por reescrita, execução no backend, reranking e devolução dos resultados, e a decisão de quanto computar já está congelada no momento do projeto.

O ponto mais citado na palestra é estrutural: o reranker pode saber que os resultados são insuficientes para responder à pergunta e, mesmo assim, não pode agir. Ele só devolve a lista. Sem capacidade de agir, o sistema gasta computador fixo por pergunta e não aumenta o esforço quando a pergunta é difícil.

A consequência prática é o acúmulo de casos de exceção. Cada pergunta inesperada vira uma regra nova, e as equipes passam a manter um conjunto crescente de ajustes manuais. Esse padrão já apareceu antes em visão computacional e em xadrez, quando as decisões saíram das regras escritas à mão e entraram no modelo.

O paralelo com xadrez é o mais didático e tem três estágios. Primeiro o IBM Deep Blue, um conjunto enorme de regras escritas por humanos. Depois o Stockfish, que fica entre as duas abordagens. Por fim o AlphaZero e o MuZero, que colocam tudo dentro do modelo. Em visão computacional o caminho foi parecido: detecção de bordas artesanal, depois modelos com caixa delimitadora treinados para uma tarefa estreita, depois VLMs que resolvem todas as etapas do pipeline.

Em busca, a sequência é a mesma. Começou com algoritmos clássicos como BM25 e PageRank, passou por modelos pequenos especializados, como vetores e rerankers, e agora chega ao RL puro, onde nenhuma decisão de design é embutida no modelo.

Vale separar o que é observação de mercado e o que é tese do palestrante. A cauda longa de falhas é um problema descrito por quem constrói pipelines. Já a afirmação de que o design por máquina sempre supera o design humano é uma generalização do palestrante, não um resultado medido.

Quanto custa hoje um agente que busca com modelo de fronteira

Um agente que usa modelo de fronteira para buscar encontra mais documentos, mas paga por isso em tempo e dinheiro. Segundo o palestrante, a busca tende a ser cerca de duas vezes mais eficaz em encontrar os documentos certos, ao custo de algo entre 100 e 1.000 vezes o preço de uma consulta clássica de busca.

O tempo também muda de ordem de grandeza. Enquanto um pipeline clássico responde em milissegundos, a busca com modelo de fronteira trabalha na casa dos minutos. A diferença não é de ajuste fino: são cerca de duas ordens de grandeza em latência e três em custo.

O efeito no agente principal é direto. O palestrante estima que agentes gastam de 30% a 50% dos tokens procurando contexto, geralmente no começo da tarefa, para então começar a agir. Esse gasto é o alvo principal da abordagem com RL.

Considere a aritmética. Se metade do orçamento de tokens da sua tarefa vai para busca, um subagente 100 vezes mais barato reduz muito o custo total. O que cai não é a conta inteira, e sim a fatia que estava sendo gasta em recuperação de contexto.

Como funciona o subagente de busca treinado por RL

O subagente de busca treinado por RL assume a pesquisa e devolve só resultados bons para o agente principal. Em vez de o agente principal fazer perguntas ruins, ler trechos irrelevantes e poluir a própria janela de contexto, a busca fica isolada em um modelo especializado.

O fluxo tem três passos previsíveis. Primeiro o agente principal delega a pergunta de recuperação. Depois o subagente conversa com o banco de dados quantas vezes precisar, podendo buscar, ler, refinar a consulta e aplicar filtros de metadados na hora. Por fim ele devolve uma lista ranqueada.

Em um trace real de agente, o agente principal busca, encontra coisas boas e coisas ruins. Todo o material ruim que ele lê entra na janela de contexto e atrapalha o resto do raciocínio. Com o subagente, o agente principal nunca vê o resultado ruim.

A vantagem não é só de custo. Se o agente principal vê mais conteúdo útil por token gasto, sobe a chance de a resposta final estar correta. A janela de contexto dele passa a conter sinal em vez de tentativa e erro.

O aprendizado por reforço verificável segue a mesma linha da técnica usada em modelos que resolvem problemas com resposta conferível, como matemática e código. A diferença é que aqui a recompensa é achar o documento certo, o que torna o sinal mais barato de gerar. O palestrante também diz que é possível misturar outras recompensas, como latência e estratégias de recuperação, para melhorar ainda mais o desempenho.

O que os números da SID.ai mostram e o que eles não mostram

Os números divulgados pela SID.ai são de cerca de 20 vezes mais velocidade e 100 vezes menos custo, mas foram medidos pela própria empresa, não por um estudo independente. O palestrante cita 2 minutos como tempo médio de um modelo de fronteira na tarefa, contra cerca de 5 segundos com o modelo treinado e execução paralela. A conferência AI Engineer publicou a palestra em 2025, no canal do próprio evento no YouTube.

Alguns pontos de método merecem atenção. A base de avaliação mistura domínios como jurídico, finanças, bases de conhecimento, ciência e e-mail, além de benchmarks acadêmicos e internos. As métricas citadas são qualidade de ranqueamento e recall, com o baseline de busca vetorial e reranker no piso da comparação.

Um resultado importante aparece no gráfico de treino: a qualidade da busca sobe de forma previsível conforme o compute aumenta. Isso vale para uma tarefa anterior à do SID-1 e sugere que mais poder de processamento compra mais acerto, sem salto misterioso.

A própria apresentação reconhece um limite. O modelo ainda não alcança a latência de um pipeline de vetor e reranker, embora o palestrante diga acreditar que isso chegará rapidamente. Também não há informação pública sobre quantas perguntas compõem o conjunto, qual modelo de fronteira serviu de comparação ou qual hardware foi usado.

Por isso, trate o dado como medido pela empresa em configuração não divulgada. Isso não invalida a ordem de grandeza, mas impede a leitura de que o resultado vale para qualquer domínio, qualquer banco de dados ou qualquer volume.

Comparação entre os dois paradigmas de busca

A diferença entre os dois paradigmas aparece melhor em uma tabela, porque as dimensões são as mesmas para os dois lados. Os valores de custo e latência do lado do RL vêm de medição da SID.ai em benchmark próprio, com execução paralela.

Dimensão	Pipeline clássico (vetorial + reranker)	Deep search com RL
Como decide	Regras fixas definidas em tempo de projeto	Modelo escolhe a cada pergunta
Compute por pergunta	Fixo	Adaptativo, maior em pergunta difícil
Latência	Milissegundos	Segundos, sendo cerca de 2 minutos no modelo de fronteira
Custo relativo	Base da comparação	Relatado como cerca de 100x mais barato que modelo de fronteira
Ajuste de esforço	Não faz	Busca mais vezes se precisar
Filtros de metadados	Definidos antes	Aplicados na hora pelo modelo
Ponto fraco	Cauda longa de falhas e casos de exceção	Custo de treino e dados de recompensa

Onde essa abordagem deve chegar primeiro

Os primeiros usos tendem a estar onde a busca é o gargalo e o erro custa caro. O palestrante cita voz e comércio eletrônico como alvos plausíveis, porque dependem de latência baixa e resposta correta na primeira tentativa. Ele também projeta avanço para qualquer domínio conforme o treino escala.

O argumento de fundo é que a web é pequena comparada ao total de dados existentes. A informação mais valiosa costuma ficar fora da internet, dentro de bancos internos de empresas, e é exatamente aí que um modelo que pesquisa em banco de dados se diferencia de um buscador aberto. O exemplo que o palestrante dá é direto: como operar o JP Morgan não está em lugar nenhum da web, mas está fundo nos bancos de dados do próprio JP Morgan.

Hoje o texto desses formatos está no ar em produção, então deep search com RL é uma abordagem disponível, não experimental. Quem tem base interna grande e muitos agentes consultando é o perfil mais provável de cliente.

Como preparar sua stack para busca treinada por RL

Antes de trocar o pipeline, verifique se você tem o que o RL exige. Sem recompensa verificável, ou seja, um conjunto rotulado que diga qual documento responde à pergunta, não existe sinal de treino confiável e o resultado vira tentativa.

Os passos práticos são quatro:

1. Monte um conjunto rotulado de perguntas e documentos corretos. Sem esse par, não há recompensa para o modelo aprender.
2. Meça o custo real da sua busca hoje. Some os tokens gastos em recuperação de contexto e compare com o total do agente.
3. Isole a busca em um subagente, mesmo que inicialmente seja um modelo pronto. O agente principal já se beneficia de não ver resultados ruins.
4. Mantenha o pipeline clássico como fallback. Se o subagente falhar ou demorar, a busca vetorial com reranker continua respondendo.

FAQ sobre deep search com RL

Deep search com RL substitui a busca vetorial?

Não de imediato. A busca vetorial e o reranker seguem funcionando como baseline, e a abordagem com RL se posiciona como camada de recuperação para agentes. A SID.ai compara o modelo treinado justamente contra esse baseline.

Quanto custa treinar um modelo desses?

O palestrante não divulgou valores. O que ele descreve é o ambiente de treino rodando milhares de tentativas por segundo, o que indica infraestrutura pesada. Sem números públicos, qualquer estimativa é chute.

Preciso de GPUs para usar essa abordagem?

Para treinar o seu próprio modelo, sim. Para consumir um modelo já treinado, não necessariamente. A inferência pode rodar em infraestrutura menor, mas isso depende do provedor e do volume de consultas.

Isso funciona em domínio jurídico ou financeiro?

O benchmark da SID.ai inclui esses domínios, mas os resultados não foram auditados de forma independente. Em ambiente regulado, valide com o seu próprio conjunto de perguntas antes de trocar um pipeline estável.

O modelo aprende estratégias sozinho?

A proposta é não dizer ao modelo o que fazer, deixando que ele descubra os próprios truques de busca, como no AlphaZero. O palestrante admite que não se sabe se há teto para esse método, mas diz que ainda não vê um.

Como isso se compara ao Gustavo Dev Doido ou ao Bootcamp do Dev Doido?

São referências de conteúdo técnico em português, não produtos de busca. Se você quer aprofundar em stacks modernas, o Crazystack Typescript e o Bootcamp do Dev Doido são caminhos de estudo, não concorrentes da SID.ai.

Qual a diferença entre RLHF e RL com recompensa verificável?

No RLHF, um modelo ou humano avalia a resposta e vira o sinal de treino. Na recompensa verificável, existe um critério objetivo, como achar o documento certo. O segundo é mais barato de gerar e menos sujeito a viés de preferência.

Deep search com RL já roda em produção?

A arquitetura concatena busca, leitura, filtros e ranking final, com validação e fallback para o pipeline clássico. Isso permite rodar em produção hoje mesmo com um modelo ainda em evolução.

Vale a pena migrar agora?

Depende do seu custo atual. Se sua conta de tokens em busca está na casa dos milhares de dólares mensais, o teste com um subagente dedicado pode se pagar rápido. Se a busca é uma consulta ocasional, o ganho não justifica a mudança.

O que fazer com o vídeo que te trouxe até aqui

A palestra da SID.ai virou este texto porque alguém decidiu que o conhecimento de 30 minutos de vídeo merecia ficar escrito. Se você tem uma entrevista, uma aula ou uma explicação técnica parada no YouTube, dá para fazer o mesmo caminho: colar a URL, transcrever e gerar um artigo.

É para isso que existe o Skala Blog.

Source video