GPT-5: testes com jogos para medir a LLM | guia prático
Três testes (hexágono, Tetris e nave) para medir habilidade do GPT-5 sem demo teatral. Como ler falhas, latência e o que isso muda no seu fluxo
Resposta direta
Avaliar GPT-5 com mini-jogos controlados revela se o modelo segue regras e se recupera de erro — melhor que prompt de marketing. Então eu estou aqui com o cursor aberto, já criei a pasta desse projeto aqui de teste que a gente vai fazer e antes da gente começar, queria que você se inscrevesse no canal, isso me ajuda pra caramba, ia chegar a 20 mil inscritos até o fim do ano, que é essa minha meta,.
Por que jogos simples expõem limites do modelo
Hoje vai ser o dia da gente testar o GPT-5. E outro teste que é um jogo de navinha, um nave com objetos vindo e você tem que desviar. Esses testes eles servem pra testar a habilidade da LLM, né? Da linguagem, de conseguir criar um código somente em uma página.
Então, eles são testes bem legais da gente gerar. E o objetivo aqui é a gente testar o GPT-5. Eu vou criar aqui um arquivo sozinho dentro do cursor. Aqui no meu cursor não tem o 4.1 ainda, não sei por qual motivo.
Diferente do teste que eu fiz da última vez, dessa vez eu vou zerar o contexto, né? Eu tenho contexto de uma outra ele show então bora lá eu vou criar aqui esse projeto é tá aqui tô para criar um projeto novo e eu vou criar aqui depois a gente volta com vídeo. Então eu estou aqui com o cursor aberto, já criei a pasta desse projeto aqui de teste que a gente vai fazer e antes da gente começar, queria que você se inscrevesse no canal, isso me ajuda pra caramba, ia chegar a 20 mil inscritos até o fim do ano, que é essa minha meta, e se você dar like aqui no vídeo e aparecer o botão de raipar, clica aqui também, me ajuda pra caramba a atingir esse vídeo pra mais gente ainda, show? O primeiro teste que a gente vai fazer então é o teste de.
Hexágono, Tetris e nave: o que cada um mede
Do Tetris tá eu vou pegar o prompt aqui tá em português já tá então vou colar aqui esse prompt ó então aqui é um prompt simples tá quero que você gere um único arquivo HTML autossuficiente somente um arquivo .html que implemente o jogo de Tetris completo requisitos detalhados, eu tenho os requisitos aqui e tal tudo o que ele deve fazer e bora fazer esse teste aí quando eu terminar de fazer a gente volta com o vídeo e executa esse arquivo pra ver se deu certo bom, algo que eu notei aqui é que ele demora bastante, né tá criando um arquivo gigantesco aqui, ó arquivo gigante mesmo e ele não terminou ainda bom então vamos ver como é que ele vai se vai funcionar esse arquivo que ele tá criando aqui né tá bem tá bem grande e aí eu terminou só vai só falar que ele terminou então vamos executar aqui aí depois a gente volta com ele executado. Então, eu criei o arquivo aqui que ele não tinha criado, tá? Então eu criei aqui, colei o código e vamos abrir ele aqui no Live Server pra ver o que vai. Bom então funcionou super bem né realmente zero defeitos e tá certo ficou muito bom é tem até mais mais algumas coisas aqui ó que ele fez um menino e tal e ficou legal demais aqui eu joga a peça para baixo né show caraca achei que ficou muito bom é eu fiz um teste com esse tetris lá no gpp 4.1 e cara ele não conseguiu fazer né agora ele conseguiu fazer aí vamos testar com o cloud para ver se ele consegue fazer então terminou de criar aqui né o cloud 4 somei e vamos ver agora vamos executar esse arquivo aqui para ver como é que ficou Então, ó, ficou bonitinho, mas tem esse bugzinho aqui do movimento, né?
E se ele vai fazer ponto no caso né eu vou ver caraca não vem um que tem duas peças deixa que eu vou cagar não é que não vai vir mesmo tá isso vai dar eu acho Também não, né? Eu achei que o do GPT-5 ficou melhor, tem esse bug aqui dessas linhas que ficaram infinitas pra baixo, né, sendo que o limite do mapa é aqui, do mapa não, né, do quadro. O limite do quadro, né, é aqui, seria o 20x10, se não me engano, que eu tinha feito no ProPush, né, e ele criou a mais aqui pro lado e pra baixo também. Eu achei que o do GPT ficou mais bonito também os menus, as cores, o do GPT tem som, o que é bem legal, e cara.
O dpt de parabéns agora vamos testar do de minai 2.5 pronto tá ver qual é que é eu que eu criei novo chat tá vendo então tá aqui ainda o o arquivo do do gpt5 e tá aqui o arquivo do cloud tá tá aqui ó esse arquivo aí então agora vamos testar com o de minai 2.5 pro que é esse o show pegar o mesmo pronto vou colar aqui vou escolher esse arquivo primeiro né o juiz aqui vou colar aqui o pronto ao mesmo pronto e vamos dar ele tem a ver colar aqui é então de mim aí terminou aqui de fazer o teto de estar vamos executar uma extensão o menu que já vejo que ficou bonito né ficou bem e tá sem som ainda então realmente por enquanto galera o do GPT-5 melhor né você vê que o que o GPT-5 ele gerou som a mecânica era mais fluida também o jeito de mexer que era mais fluido tá a pecinha desse é de forma fluida é o menu os menus eram mais bonitos também né o jogo em si era mais bonito tinha a parte explicando o que que era aqui embaixo lembra que tinha um menuzinho que botões que você podia apertar e tal. Bom então do remédio do gpt-5 foi melhor tá momento tá então teste aqui feito achei de gpt-5 melhor ou do cloud o segundo do de milagre o segundo e do clube o terceiro lugar por enquanto tá é o que a linguagem que mais utiliza aqui para fazer código é o clube de quatro tá por enquanto agora vamos ver com gpt-5 como é que vai ser e se vai ser caro né eu acho que não vai ser caro galera é Quando a OpenAI lançou, eles explicaram sobre o preço e realmente foi uma surpresa o preço do GPT-5. Porque para vocês terem noção, o 4.1 e o O3 eram bem mais caros do que são o GPT-5. Então eles lançaram um modelo que é mais forte do que esses outros e ainda mais barato.
Leitura útil
Avaliar GPT-5 com mini-jogos controlados revela se o modelo segue regras e se recupera de erro — melhor que prompt de marketing. Use o trecho acima como restrição, não como citação ornamental.
Como interpretar falha vs lentidão
Galera, não sei se eu tô fazendo algo de errado aqui, mas o GPT-5 ele não gera o arquivo, né? Ah, eu tenho que gerar o arquivo aqui e salvar, né? É o que não é tão prático mas tá aqui ó vamos ver ó tá vendo que ele conseguiu gerar a física né ele também deu aqui um me deu jeito diferente de testar aqui ó deixa mais lento mais rápido assim a bolinha fica mais rápido e tal reposicionar não sei o que faz de bug velocidade angular, essa aqui é a velocidade do negócio e realmente não cai a bolinha tá vendo que a física realmente é muito boa e funcionou perfeitamente Legal, hein, galera? Acho que essa é a primeira vez que eu vejo alguém fazendo esse teste e dando certo.
Então, eu estou aqui, ó, com o hexágono aqui do Cloud 4, tá? Com o hexágono do Gemini e o do GPT-5 que a gente viu agora. Também funciona bem, só que o do GPT-5 é melhor, né? Mas é que ele deu um jeito de deixar isso bonito, né?
Agora o do GPT-5 é o melhor até o momento nos dois testes. Mas pelo que eu vi aqui o GPT-5 está bem legal. Então tá aqui, ele gerou esse joguinho de nave pra gente, tá? Tá aqui a versão do Cloud 4, GPT-5 e o Gemini 2.5 Pro.
O que transferir para prompts de produto
Essa aqui é a versão do Gemini 2.5 Pro, tá? Ele não seguiu o passo a passo no início, fez um passo só, né? Depois ele terminou aqui o passo a passo e fez tudo num só arquivo, que foi o que eu pedi pra ele. Então aqui, esse é o joguinho de nave, não sei se não era isso que eu pedi.
Não é um joguinho de nave, sim é uma nave no centro que desvia das coisas, pra testar a física de colisão e tal. Vamos testar outro aqui pra ver, do Cloud 4, pra gente ver. Então o Cloud 4 ficou em terceiro lugar lá no teste do Tetris, né? Melhor que o do Gemini que mexe sozinho, né?
O do Gemini está mexendo sozinho, pode ver. Vamos ver aqui o do GPT-R5 agora pode ver que até o menu deixa mais bonito por algum motivo mas vamos ver aqui olha esse aqui tem uma física até de velocidade, porque quando eu ando ele não para do nada, ele dá uma ele anda um pouquinho e para tipo ele não quando eu clico para andar com ele e eu desclico, paro de andar Ele ainda anda um pouquinho. Lógico que esses testes assim, eles não conseguem testar todas as. E se você quiser que eu trago mais testes.
Roteiro de teste em uma tarde
Hoje vai ser o dia da gente testar o GPT-5. Aquele que vai gerando e tem a bolinha e não pode cair. E outro teste que é um jogo de navinha, um nave com objetos vindo e você tem que desviar. Esses testes eles servem pra testar a habilidade da LLM, né?
Da linguagem, de conseguir criar um código somente em uma página. Então, eles são testes bem legais da gente gerar. E o objetivo aqui é a gente testar o GPT-5. Eu vou criar aqui um arquivo sozinho dentro do cursor.
Aqui no meu cursor não tem o 4.1 ainda, não sei por qual motivo. Diferente do teste que eu fiz da última vez, dessa vez eu vou zerar o contexto, né? Eu vou criar outro chat para que ele não. Eu tenho contexto de uma outra ele show então bora lá eu vou criar aqui esse projeto é tá aqui tô para criar um projeto novo e eu vou criar aqui depois a gente volta com vídeo.
Próximo passo
Escolha uma métrica (tempo, retries, conversão ou qualidade aceita) e rode 7 dias antes de escalar o padrão.