O 58 da Artificial Analysis para o Claude 5.5 é real, e o índice reúne 10 avaliações. Só que boa parte delas mede exames acadêmicos, tarefas de escritório e perguntas de direito e finanças. Nenhuma dessas tarefas passa pelo seu repositório, então o número não responde se você deve trocar.
O que o 58 do índice da Artificial Analysis mede de verdade
O índice da Artificial Analysis, grupo de benchmarking independente, é uma nota única sobre 10 avaliações. Boa parte delas não mede código: há exame acadêmico, tarefas de escritório e perguntas de direito e finanças. O Claude 5.5 chega a 58 e a GPT-6 Astra a 53, nos dois casos no esforço máximo.
O placar 58 a 53 é bom, mas está longe de ser uma varredura. O Opus lidera em 6 das 10 avaliações e fica atrás em 3. Quando a Artificial Analysis descreve os testes agênticos, usa a palavra paridade — e é exatamente aí que seu trabalho vive.
Uma ressalva de leitura: o 58 mede o agregado no esforço mais alto, o ponto em que o modelo pensa por mais tempo e gasta mais tokens antes de responder. Trocar esse registro pelo custo do dia a dia distorce a conclusão.
Seu teste vermelho não liga para a nota do modelo em finanças. O índice geral responde "qual modelo é mais capaz em média", não "qual resolve meu ticket". Esse descolamento é o motivo de a diferença de 5 pontos ser um sinal fraco para escolha de ferramenta.
Claude 5.5 vs GPT-6 Astra em bugs difíceis: empate
Em bugs difíceis, o Claude 5.5 vs GPT-6 Astra termina empatado. O Terminal-Bench 4.0, avaliação de codificação no terminal, registra 59,6% para o Opus 5.5 e 59,0% para a GPT-6 Astra no ajuste xhigh. São seis décimos de ponto.
O Terminal-Bench 4.0 mede execução de tarefas de engenharia dentro do terminal, com o agente rodando comandos reais. Nesse recorte, a própria Artificial Analysis descreve o Opus 5.5 como no mesmo nível da Astra, e essa é a leitura correta.
Quem quer trocar de modelo para corrigir bug mais rápido não encontra respaldo no número independente. A evidência aponta paridade, não vantagem.
A Anthropic divulga uma linha diferente pelo lado do custo: o Opus 5.5 entrega o mesmo resultado por cerca de 40% do preço. A comparação da empresa usa o Opus em xhigh contra a Astra em high, um nível abaixo do que a Artificial Analysis testou. Os gráficos não parecem o mesmo par.
Código grande: o que 1 milhão de tokens muda
O Claude 5.5 traz janela de contexto de 1 milhão de tokens, o volume de texto que o modelo mantém visível de uma vez. Isso cabe boa parte de um serviço, com testes e configuração, numa sessão.
Encaixar o repositório na janela e raciocinar bem sobre ele são habilidades distintas. O sinal independente mais próximo é o AA-LCR, teste de raciocínio de contexto longo da Artificial Analysis, e nele o Opus fica atrás da Astra. Cuidado com o alcance: o AA-LCR usa documentos longos, não navegação de código.
A GPT-6 Astra tem algo mais direto. No SWE-Atlas-QnA, ela marca 62% em 124 perguntas da Scale AI nas quais o modelo precisa explorar um repositório e explicar como o código se comporta. O GPT-5.6 Sol, modelo anterior da OpenAI, fez 54% no mesmo conjunto.
Não existe placar publicado do Opus 5.5 nesse mesmo exame, então a casa fica vazia. A OpenAI tem um número relevante e verificável; a Anthropic tem um relato de um testador concluindo uma migração de 680 linhas em menos de um dia, contado pela empresa que vende o modelo. Amostra de um, com selo de fornecedor.
Preço por token x custo por tarefa: onde a conta vira
A tabela de preços favorece o Opus 5.5: US$ 4 por milhão de tokens de entrada e US$ 20 por milhão de saída, contra US$ 10 e US$ 50 da GPT-6 Astra. O Opus custa 40% da tarifa da Astra. Esse percentual vem da lista de preços, não do mesmo gráfico da Anthropic.
A conta muda quando você olha o medidor de tokens. No esforço máximo, dentro das avaliações da Artificial Analysis, o Opus 5.5 escreve cerca de 119 mil tokens de saída por tarefa; a Astra escreve cerca de 27 mil. Mais de quatro vezes menos.
O resultado por tarefa inverte a ordem. O Opus no máximo sai por US$ 5,98; a Astra no máximo por US$ 3,26. O modelo com tarifa menor cobra mais por trabalho entregue.
| Métrica | Opus 5.5 (max) | Astra (max) |
|---|---|---|
| Nota no índice | 58 | 53 |
| Tokens de saída por tarefa | ~119 mil | ~27 mil |
| Custo por tarefa | US$ 5,98 | US$ 3,26 |
| Preço por 1M de entrada | US$ 4 | US$ 10 |
| Preço por 1M de saída | US$ 20 | US$ 50 |
Toda cifra aqui mede o conjunto de testes da própria Artificial Analysis. Sua fatura real depende de cache, do harness, do tamanho do prompt e de quantas vezes o agente tenta de novo. Use os valores para comparar modelos, não para orçar um projeto.
A configuração de esforço vale mais que a troca de modelo
Descer o Opus 5.5 do máximo para o alto muda o resultado. No esforço alto, ele marca 54 pontos no mesmo índice por US$ 1,82 por tarefa, contra 53 da Astra no máximo por US$ 3,26. Um ponto à frente, por cerca de 56% do custo.
Em 100 tarefas da Artificial Analysis, a proporção fica mais fácil de sentir: US$ 598 no Opus máximo, US$ 326 na Astra máxima e US$ 182 no Opus alto. O modelo que perdeu a rodada de orçamento no máximo empata com a melhor execução da Astra dois degraus abaixo.
O movimento tem preço. Do alto para o máximo, a barra de nota sobe 4 pontos e o medidor de custo salta cerca de US$ 4 por tarefa. Você paga mais que o triplo pelos últimos 4 pontos.
Ajuste de esforço é uma decisão de engenharia, não um detalhe de interface. O padrão do Opus 5.5 é o esforço médio, que marca 51 por US$ 1,34 por tarefa — 2 pontos abaixo da Astra no máximo. Deixar o padrão ligado não vence esta comparação.
| Configuração | Nota | Custo por tarefa |
|---|---|---|
| Opus 5.5 (max) | 58 | US$ 5,98 |
| Opus 5.5 (alto) | 54 | US$ 1,82 |
| Opus 5.5 (médio, padrão) | 51 | US$ 1,34 |
| Astra (max) | 53 | US$ 3,26 |
| Astra (baixo) | não publicado | US$ 0,82 |
A Anthropic afirma que o Opus 5.5 no esforço padrão supera o Opus 5 no máximo por cerca de um quinto do custo. É número de fornecedor, sem verificação independente, mas aponta na mesma direção: a configuração mais alta não é automaticamente a que você deve rodar.
Como testar nos seus próprios tickets
O teste que importa roda nos seus tickets, não no leaderboard. A evidência disponível sustenta um piloto curto e mensurável em vez de uma migração completa.
- Junte uma semana de tickets reais, com os bugs e as dúvidas de código que você já teria de resolver de qualquer forma.
- Rode o Claude 5.5 no esforço alto e registre quantos tickets ele fecha sozinho.
- Anote o custo de cada ticket fechado, não o custo médio por token.
- Compare com a sua fatura atual da GPT-6 Astra nas mesmas tarefas.
Duas variáveis decidem o piloto: quantos tickets o modelo encerra e quanto cada encerramento custou. Se o resultado não separar os dois modelos, a decisão vira previsibilidade de custo, e aí o esforço alto do Opus continua sendo o degrau mais interessante.
Se o seu dia é dominado por entender repositórios grandes e desconhecidos, o quadro muda. A Astra tem placar publicado nesse tipo de pergunta; o Opus 5.5 não tem, e ainda fica atrás no teste mais próximo de contexto longo. Nesse cenário, ficar onde você está é defensável.
Perguntas frequentes
- Claude 5.5 é melhor que GPT-6 Astra para programar?
Nos testes de codificação no terminal, os dois estão empatados: 59,6% contra 59,0% no Terminal-Bench 4.0. A vantagem de 58 a 53 aparece no índice geral, que mistura exames acadêmicos, tarefas de escritório e perguntas de direito e finanças. Para codificação, o empate é o dado relevante.
- Vale a pena trocar a GPT-6 Astra pelo Claude 5.5?
Depende de duas coisas: o que domina seu dia e qual nível de esforço você vai usar. Se a Astra resolve seus bugs e o custo não incomoda, o índice geral não justifica a troca. Se a fatura dói, teste o Opus 5.5 no esforço alto nos seus próprios tickets antes de decidir.
- O Claude 5.5 é mais barato que a GPT-6 Astra?
Por token, sim: US$ 4 e US$ 20 por milhão contra US$ 10 e US$ 50. Por tarefa, não no esforço máximo. O Opus escreve cerca de 119 mil tokens de saída por tarefa, contra 27 mil da Astra, o que leva o custo a US$ 5,98 contra US$ 3,26 nas avaliações da Artificial Analysis.
- O que é AA-LCR e por que ele importa aqui?
AA-LCR é o teste de raciocínio de contexto longo da Artificial Analysis, no qual o Claude 5.5 fica atrás da GPT-6 Astra. Ele usa documentos longos, não navegação de código, então serve como indício sobre repositórios grandes e não como prova. Para código, a evidência publicada favorece a Astra.
Fork this article
Start a new branch from the same video, shaped your way. You keep the credit; the original keeps the attribution.
A fork in another language is filed as a translation of this article, so the two pages point at each other. You can unlink it later from the editor.
0/240
You are creating
- Format
- For
- Language
- Source
- Your angle
You will be asked to sign in before it is generated.
Buy credits