Pular para o conteúdo
← Voltar para o Skalablog

Artigo publicado

Claude 5.5 vs GPT-6 Astra: custo real

Engenharia de SoftwareClaudeAnthropicOpenAI

O 58 da Artificial Analysis para o Claude 5.5 é real, e o índice reúne 10 avaliações. Só que boa parte delas mede exames acadêmicos, tarefas de escritório e perguntas de direito e finanças. Nenhuma dessas tarefas passa pelo seu repositório, então o número não responde se você deve trocar.

O que o 58 do índice da Artificial Analysis mede de verdade

O índice da Artificial Analysis, grupo de benchmarking independente, é uma nota única sobre 10 avaliações. Boa parte delas não mede código: há exame acadêmico, tarefas de escritório e perguntas de direito e finanças. O Claude 5.5 chega a 58 e a GPT-6 Astra a 53, nos dois casos no esforço máximo.

O placar 58 a 53 é bom, mas está longe de ser uma varredura. O Opus lidera em 6 das 10 avaliações e fica atrás em 3. Quando a Artificial Analysis descreve os testes agênticos, usa a palavra paridade — e é exatamente aí que seu trabalho vive.

Uma ressalva de leitura: o 58 mede o agregado no esforço mais alto, o ponto em que o modelo pensa por mais tempo e gasta mais tokens antes de responder. Trocar esse registro pelo custo do dia a dia distorce a conclusão.

Seu teste vermelho não liga para a nota do modelo em finanças. O índice geral responde "qual modelo é mais capaz em média", não "qual resolve meu ticket". Esse descolamento é o motivo de a diferença de 5 pontos ser um sinal fraco para escolha de ferramenta.

Claude 5.5 vs GPT-6 Astra em bugs difíceis: empate

Em bugs difíceis, o Claude 5.5 vs GPT-6 Astra termina empatado. O Terminal-Bench 4.0, avaliação de codificação no terminal, registra 59,6% para o Opus 5.5 e 59,0% para a GPT-6 Astra no ajuste xhigh. São seis décimos de ponto.

O Terminal-Bench 4.0 mede execução de tarefas de engenharia dentro do terminal, com o agente rodando comandos reais. Nesse recorte, a própria Artificial Analysis descreve o Opus 5.5 como no mesmo nível da Astra, e essa é a leitura correta.

Quem quer trocar de modelo para corrigir bug mais rápido não encontra respaldo no número independente. A evidência aponta paridade, não vantagem.

A Anthropic divulga uma linha diferente pelo lado do custo: o Opus 5.5 entrega o mesmo resultado por cerca de 40% do preço. A comparação da empresa usa o Opus em xhigh contra a Astra em high, um nível abaixo do que a Artificial Analysis testou. Os gráficos não parecem o mesmo par.

Código grande: o que 1 milhão de tokens muda

O Claude 5.5 traz janela de contexto de 1 milhão de tokens, o volume de texto que o modelo mantém visível de uma vez. Isso cabe boa parte de um serviço, com testes e configuração, numa sessão.

Encaixar o repositório na janela e raciocinar bem sobre ele são habilidades distintas. O sinal independente mais próximo é o AA-LCR, teste de raciocínio de contexto longo da Artificial Analysis, e nele o Opus fica atrás da Astra. Cuidado com o alcance: o AA-LCR usa documentos longos, não navegação de código.

A GPT-6 Astra tem algo mais direto. No SWE-Atlas-QnA, ela marca 62% em 124 perguntas da Scale AI nas quais o modelo precisa explorar um repositório e explicar como o código se comporta. O GPT-5.6 Sol, modelo anterior da OpenAI, fez 54% no mesmo conjunto.

Não existe placar publicado do Opus 5.5 nesse mesmo exame, então a casa fica vazia. A OpenAI tem um número relevante e verificável; a Anthropic tem um relato de um testador concluindo uma migração de 680 linhas em menos de um dia, contado pela empresa que vende o modelo. Amostra de um, com selo de fornecedor.

Preço por token x custo por tarefa: onde a conta vira

A tabela de preços favorece o Opus 5.5: US$ 4 por milhão de tokens de entrada e US$ 20 por milhão de saída, contra US$ 10 e US$ 50 da GPT-6 Astra. O Opus custa 40% da tarifa da Astra. Esse percentual vem da lista de preços, não do mesmo gráfico da Anthropic.

A conta muda quando você olha o medidor de tokens. No esforço máximo, dentro das avaliações da Artificial Analysis, o Opus 5.5 escreve cerca de 119 mil tokens de saída por tarefa; a Astra escreve cerca de 27 mil. Mais de quatro vezes menos.

O resultado por tarefa inverte a ordem. O Opus no máximo sai por US$ 5,98; a Astra no máximo por US$ 3,26. O modelo com tarifa menor cobra mais por trabalho entregue.

MétricaOpus 5.5 (max)Astra (max)
Nota no índice5853
Tokens de saída por tarefa~119 mil~27 mil
Custo por tarefaUS$ 5,98US$ 3,26
Preço por 1M de entradaUS$ 4US$ 10
Preço por 1M de saídaUS$ 20US$ 50

Toda cifra aqui mede o conjunto de testes da própria Artificial Analysis. Sua fatura real depende de cache, do harness, do tamanho do prompt e de quantas vezes o agente tenta de novo. Use os valores para comparar modelos, não para orçar um projeto.

A configuração de esforço vale mais que a troca de modelo

Descer o Opus 5.5 do máximo para o alto muda o resultado. No esforço alto, ele marca 54 pontos no mesmo índice por US$ 1,82 por tarefa, contra 53 da Astra no máximo por US$ 3,26. Um ponto à frente, por cerca de 56% do custo.

Em 100 tarefas da Artificial Analysis, a proporção fica mais fácil de sentir: US$ 598 no Opus máximo, US$ 326 na Astra máxima e US$ 182 no Opus alto. O modelo que perdeu a rodada de orçamento no máximo empata com a melhor execução da Astra dois degraus abaixo.

O movimento tem preço. Do alto para o máximo, a barra de nota sobe 4 pontos e o medidor de custo salta cerca de US$ 4 por tarefa. Você paga mais que o triplo pelos últimos 4 pontos.

Ajuste de esforço é uma decisão de engenharia, não um detalhe de interface. O padrão do Opus 5.5 é o esforço médio, que marca 51 por US$ 1,34 por tarefa — 2 pontos abaixo da Astra no máximo. Deixar o padrão ligado não vence esta comparação.

ConfiguraçãoNotaCusto por tarefa
Opus 5.5 (max)58US$ 5,98
Opus 5.5 (alto)54US$ 1,82
Opus 5.5 (médio, padrão)51US$ 1,34
Astra (max)53US$ 3,26
Astra (baixo)não publicadoUS$ 0,82

A Anthropic afirma que o Opus 5.5 no esforço padrão supera o Opus 5 no máximo por cerca de um quinto do custo. É número de fornecedor, sem verificação independente, mas aponta na mesma direção: a configuração mais alta não é automaticamente a que você deve rodar.

Como testar nos seus próprios tickets

O teste que importa roda nos seus tickets, não no leaderboard. A evidência disponível sustenta um piloto curto e mensurável em vez de uma migração completa.

  1. Junte uma semana de tickets reais, com os bugs e as dúvidas de código que você já teria de resolver de qualquer forma.
  2. Rode o Claude 5.5 no esforço alto e registre quantos tickets ele fecha sozinho.
  3. Anote o custo de cada ticket fechado, não o custo médio por token.
  4. Compare com a sua fatura atual da GPT-6 Astra nas mesmas tarefas.

Duas variáveis decidem o piloto: quantos tickets o modelo encerra e quanto cada encerramento custou. Se o resultado não separar os dois modelos, a decisão vira previsibilidade de custo, e aí o esforço alto do Opus continua sendo o degrau mais interessante.

Se o seu dia é dominado por entender repositórios grandes e desconhecidos, o quadro muda. A Astra tem placar publicado nesse tipo de pergunta; o Opus 5.5 não tem, e ainda fica atrás no teste mais próximo de contexto longo. Nesse cenário, ficar onde você está é defensável.

Perguntas frequentes

  • Claude 5.5 é melhor que GPT-6 Astra para programar?

Nos testes de codificação no terminal, os dois estão empatados: 59,6% contra 59,0% no Terminal-Bench 4.0. A vantagem de 58 a 53 aparece no índice geral, que mistura exames acadêmicos, tarefas de escritório e perguntas de direito e finanças. Para codificação, o empate é o dado relevante.

  • Vale a pena trocar a GPT-6 Astra pelo Claude 5.5?

Depende de duas coisas: o que domina seu dia e qual nível de esforço você vai usar. Se a Astra resolve seus bugs e o custo não incomoda, o índice geral não justifica a troca. Se a fatura dói, teste o Opus 5.5 no esforço alto nos seus próprios tickets antes de decidir.

  • O Claude 5.5 é mais barato que a GPT-6 Astra?

Por token, sim: US$ 4 e US$ 20 por milhão contra US$ 10 e US$ 50. Por tarefa, não no esforço máximo. O Opus escreve cerca de 119 mil tokens de saída por tarefa, contra 27 mil da Astra, o que leva o custo a US$ 5,98 contra US$ 3,26 nas avaliações da Artificial Analysis.

  • O que é AA-LCR e por que ele importa aqui?

AA-LCR é o teste de raciocínio de contexto longo da Artificial Analysis, no qual o Claude 5.5 fica atrás da GPT-6 Astra. Ele usa documentos longos, não navegação de código, então serve como indício sobre repositórios grandes e não como prova. Para código, a evidência publicada favorece a Astra.

Source video