# O que são Context Language Models e por que eles importam?

> Published 2026-10-11T20:23:15.139Z on https://www.crazystack.com.br/pt/p/o-que-sao-context-language-models-e-por-que-eles-importam/
> Source video: https://www.youtube.com/watch?v=8ZYch7UeCmo

A ideia contraintuitiva dos Context Language Models é simples: em vez de ensinar o modelo a lembrar mais, deixe-o esquecer sozinho o que não importa. Delete uma linha do arquivo-contexto e, no turno seguinte, aquilo simplesmente não existe mais para o modelo.

## O que são Context Language Models (CLMs)

Context Language Models são modelos que tratam o próprio contexto como um arquivo editável em vez de um registro que só cresce. A proposta aparece em pesquisa da Meta Superintelligence Labs, da University of Washington, do MIT e da Trillium Labs, discutida em vídeo de outubro de 2026 do canal Claude Code.

Hoje, o contexto funciona como um rolo de papel: cada mensagem, resultado de busca e saída de ferramenta é anexado no fim. Quando enche, um software externo corta a parte antiga e carimba um resumo no lugar. O CLM substitui o rolo por um arquivo que o modelo abre e edita com Python e expressões regulares, identificando os turnos por rótulos como "context turn 1".

O detalhe que muda tudo: o arquivo é o próprio contexto. Apague uma linha e, no turno seguinte, ela não existe mais para o modelo. Cada edição cai direto no que ele vê na próxima interação, sem camada intermediária de resumo.

## Por que o Claude Code esquece suas regras em sessões longas

Quem corta o contexto no [Claude Code](https://docs.claude.com/en/docs/claude-code), ferramenta de codificação agêntica da Anthropic que roda no terminal, não é o modelo: é o harness. Quando o contexto enche, a ferramenta limpa primeiro as saídas antigas de ferramentas e depois resume. Suas requisições e trechos-chave de código são mantidos, mas instruções detalhadas do início da conversa podem se perder.

O mesmo padrão vale para o [Codex CLI](https://github.com/openai/codex), agente de código de código aberto da OpenAI, e para o [Cursor](https://cursor.com), editor com IA baseado no VS Code: todos compactam em limites pré-definidos. O corte acontece num tamanho fixado de antemão, não num momento que o modelo escolhe. Por isso uma regra do minuto um pode cair justamente na parte aparada.

A consequência prática é simples. Se uma sessão longa depende de algo que você disse cedo, repita a instrução depois de uma compactação. A documentação do Claude Code já admite que ela pode ter sumido.

## CLM, RLM e resumo: quem controla o contexto

As três abordagens resolvem o mesmo problema de formas diferentes, e a diferença está em quem segura a tesoura. Os RLMs, de Zhang, Kraska e Khattab (2025), tratam o prompt como um ambiente e chamam o modelo recursivamente sobre os pedaços, mas o que ele encontra ainda entra no contexto ativo. Alex Zhang, primeiro autor dos RLMs, comentou nas redes que os CLMs são "mais extremos" e que as ideias não são a mesma coisa.

A tabela abaixo resume o contraste nos termos do artigo dos CLMs:

## O que os números do artigo realmente mostram

Os ganhos de acurácia são modestos; o corte de compute é o argumento forte. Todos os números abaixo são medições dos próprios autores, em um modelo aberto de 27 bilhões de parâmetros (Qwen, família chinesa de modelos abertos da [equipe Qwen](https://huggingface.co/Qwen)) com contexto limitado a 32 mil tokens — não um modelo de fronteira.

Sem treinamento adicional, no [repositório do Facebook Research](https://github.com/facebookresearch) os autores reportam: no BrowseComp-Plus, benchmark de pesquisa web, o CLM marcou 59,4% contra 53,4% do resumo estilo Codex, um ganho relativo de 11,4% com 21,5% menos FLOPs. Em uma rodada de 12 horas do EdgeBench (subconjunto de 10 tarefas), foram 44,6 contra 42,3 — os 5% do resumo são relativos, pouco mais de dois pontos absolutos — usando 179 quadrilhões de FLOPs contra 437, ou 59% menos.

O número de manchete pede cuidado. Após reforço, o Qwen3.5-9B melhorou 47,6% em questões inéditas do BrowseComp-Plus, mas a Tabela 2 mostra um empate técnico: 42,5% do CLM treinado contra 42,1% do harness de resumo também treinado. A vitória real está no custo: 1,34 quadrilhão de FLOPs por questão contra 2,19, cerca de 39% menos compute pela mesma acurácia.

Um comportamento qualitativo vale registro. Sem nenhuma instrução para isso, o modelo escreveu loops para descartar buscas irrelevantes, criou um papel chamado "notes" na conversa, escreveu uma função auxiliar de compactação que chamou 37 vezes e atualizou um placar de status 163 vezes, mantendo o contexto inteiro entre 6 e 8 mil tokens.

## O problema do cache: suffix cache reuse no SGLang

Editar o meio do prompt quebra o mecanismo que torna sessões longas baratas. Servidores de inferência usam cache de prefixo: reutilizam o processamento já feito no começo intacto da conversa e só processam o que é novo no fim. Um CLM edita o meio, então no [SGLang](https://github.com/sgl-project/sglang), motor de serving popular, a primeira edição força o recálculo de todo token depois dela.

A correção dos autores se chama suffix cache reuse. Para cada token que sobrevive à edição, o sistema mantém o trabalho em cache, desloca sua informação de posição para o novo lugar e processa apenas o texto novo. Com o Qwen de 27 bilhões no BrowseComp-Plus, os autores reportam desempenho equivalente usando 65% do compute do SGLang padrão — cerca de 35% menos no servidor.

Há duas condições. O truque é aproximado: ele move no máximo seis blocos de cache para conter o erro. E ele não existe no SGLang padrão, ou seja, o ganho exige uma modificação própria do motor de serving.

## Riscos: o modelo pode apagar sua regra ou escrever uma que você não deu

Sim, e o artigo admite os dois lados. Nada no design impede o modelo de cortar uma instrução sua — é a mesma liberdade que permite deletar um resultado de busca obsoleto. E o contexto editável, escrevem os autores, "pode se tornar outro canal pelo qual injeções de prompt ou instruções autogeradas persistem entre turnos". Trabalhos relacionados já observaram um modelo inserir instruções não autorizadas no próprio resumo. O artigo levanta o risco e deixa a solução em aberto.

Se você construir sobre isso, trate o arquivo-contexto como qualquer outra edição de agente: registre cada mudança e calcule diffs. Qualquer mão capaz de manter sua regra no topo também é capaz de reescrevê-la.

Sobre uso imediato: o repositório do Facebook Research publica código do harness, do treinamento e do truque de cache, sob licença não comercial. Não existe essa opção como recurso no Claude Code ou no Codex até outubro de 2026, e algo ainda precisa entregar o arquivo ao modelo — o repositório em si vem com um harness, apesar do "chega de engenharia de harness" do autor sênior Peng Wei Koh.

## Perguntas frequentes

- **Context Language Models já estão disponíveis em ferramentas como Claude Code?** Não. Até outubro de 2026, a ideia existe como pesquisa e como código não comercial no repositório do Facebook Research. Claude Code e Codex seguem usando compactação por resumo controlada pelo harness.

- **O CLM realmente eliminou as alucinações por esquecimento?** Não. O que os autores reportam é acurácia igual ou um pouco maior que a do resumo, com 21% a 59% menos compute, dependendo do benchmark. O risco de o modelo apagar ou reescrever instruções permanece e é apontado no próprio artigo.

- **CLM é a mesma coisa que RLM?** Não. RLMs chamam o modelo recursivamente sobre pedaços do prompt, mas o resultado ainda entra no contexto ativo. CLMs editam o próprio contexto via comandos, e o primeiro autor dos RLMs confirmou publicamente que as propostas são distintas.

- **Qual é o ganho mais confiável do CLM hoje?** A economia de compute, sempre que os números forem lidos como medição dos próprios autores. O ganho de 47,6% pós-treino é, na Tabela 2, um empate de acurácia (42,5% contra 42,1%) com cerca de 39% menos FLOPs por questão.

[Source video](https://www.youtube.com/watch?v=8ZYch7UeCmo)