# Strata LLM: 44,8 tok/s em GPU de 12 GB

> Published 2026-10-13T19:38:18.917Z on https://www.crazystack.com.br/pt/p/strata-llm-44-8-tok-s-em-gpu-de-12-gb/
> Source video: https://www.youtube.com/watch?v=39d3gJZRr9A

44,8 tokens por segundo a 128K de contexto, em uma GPU de 12 GB — é o número que o desenvolvedor do Strata LLM publicou em setembro de 2026. O motor mantém a atenção na VRAM e deixa os 24.576 especialistas na RAM.

## O que é o Strata LLM e o que ele promete

O [Strata LLM](https://github.com/StrataLLM/strata) é um motor de inferência em desenvolvimento que roda um modelo MoE de 125B parâmetros em uma GPU de 12 GB. Ele faz isso dividindo o trabalho entre VRAM, RAM e SSD, em vez de mover todos os pesos a cada token. Em setembro de 2026, o repositório do projeto afirmava que o modelo gera 44,8 tokens por segundo a 128K de contexto em uma RTX 5070 de 12 GB. Esse número aparece na tabela de medições do próprio autor do projeto.

O desenvolvedor publicou o repositório no GitHub em 24 de setembro de 2026. O modelo é o Qwen3.8-Flash-Next, um MoE com 48 camadas e 512 especialistas por camada, o que dá 24.576 especialistas. O motor foi construído sobre [llama.cpp](https://github.com/ggml-org/llama.cpp) e GGML, ambos sob licença MIT.

A arquitetura tem quatro partes principais. A VRAM guarda o que todo token toca: camadas de atenção, DeltaNet, roteadores, especialistas compartilhados e o KV cache. A RAM fixa todos os 24.576 especialistas. O SSD guarda a tabela de n-gramas de 28,8 GB. A camada MTP, de 4B parâmetros, gera rascunhos de tokens.

O detalhe que muda a decisão prática é outro. O campo de licença do repositório está vazio. Você pode ler o código, mas não tem permissão explícita para reutilizá-lo em nada seu.

## A confusão entre 125B e 180B parâmetros

O Strata LLM chama o modelo de 125B, enquanto a página do modelo no Hugging Face lista cerca de 180B. Os dois números estão certos e descrevem coisas diferentes. O card do modelo resolve a discrepância: são 125 bilhões de parâmetros no núcleo, mais 51 bilhões na tabela de n-gramas e 4 bilhões na camada MTP. Somados, chegam a 180.

Os 125B são a parte que pensa. Os 180B incluem os extras que ficam em salas bem diferentes da arquitetura: a tabela de n-gramas vai para o SSD e a camada de rascunho fica na GPU.

Antes de comparar esse resultado com outro, confira qual número o autor está contando. Isso evita a conclusão errada de que o Strata roda um modelo denso de 180B em uma placa de 12 GB.

O MoE é o que torna a conta possível. Cada camada tem 512 especialistas, e o roteador escolhe apenas 10 deles por token, além de um especialista compartilhado que roda sempre. São 480 receitas roteadas por token, de um total de 24.576.

## Como o Strata LLM divide o trabalho entre VRAM, RAM e SSD

A divisão de trabalho do Strata LLM é a resposta para como um MoE de 125B cabe em 12 GB de VRAM. A GPU mantém apenas o que todo token usa, e os especialistas raros são calculados pela CPU direto da RAM. Isso evita trafegar pesos pela PCIe a cada token.

O motor reserva cerca de 6 GB da VRAM como cache de especialistas. Isso cabe aproximadamente 4.500 dos 24.576 especialistas, menos de um quinto do total. Quando o roteador escolhe um especialista que está no cache, a GPU o processa na hora.

Quando o especialista não está no cache, a CPU o calcula na RAM enquanto a GPU segue trabalhando na parte dela do mesmo token. A placa citada no diagrama é uma PCIe 4.0 a cerca de 26 GB/s.

A tabela de n-gramas fica no SSD e não precisa de matemática pesada. Você abre uma linha, lê e fecha. O diagrama mostra 16 leituras de linha por token, disparadas com um passo de antecedência para que as páginas já estejam a caminho.

## Quantização, camada MTP e consumo de memória

O Strata LLM trabalha com versões quantizadas do modelo, que guardam cada peso em menos bits. O IQ3_XXS, usado na medição de 44,8 tokens/s, comprime os pesos para cerca de três bits. As versões Q2 e IQ2 descem para cerca de dois bits.

Para o IQ3_XXS, a tabela do projeto lista cerca de 43 GB de especialistas mais cerca de 6 GB em RAM, e marca essa configuração como mais lenta, com mais trabalho na CPU. Trate esses valores como aproximados, porque eles não batem exatamente com os tamanhos de arquivo do diagrama. Em qualquer cenário, boa parte dos seus 64 GB de RAM fica comprometida antes de você abrir o navegador.

A camada MTP, de 4B parâmetros, funciona como rascunho especulativo. Ela propõe até três tokens seguintes, e o modelo completo verifica as propostas em uma única passagem. O motor reporta média de 2,4 a 3,2 tokens por passagem de verificação.

A [Unsloth](https://github.com/unslothai/unsloth), que publica versões comprimidas de modelos, guarda a tabela de n-gramas em 4 bits nas versões dela. Como o uso dessa tabela é leitura pontual, mantê-la no SSD não cria o gargalo que o tamanho sugere.

## Os números de velocidade e o que eles realmente medem

O Strata LLM publica uma tabela de velocidades medida em uma RTX 5070, e é o material mais útil do repositório. A 128K de contexto, o IQ3_XXS faz 44,8 tokens/s; o IQ2_XS, de 2 bits, faz 52; e o Q2_0, também de 2 bits, faz 65,1. São dados do próprio desenvolvedor, não verificados de forma independente.

Os 65 tokens/s que circulam na internet também são reais, mas respondem a outra pergunta. Duas células da tabela mostram esse valor: o Q2_0 a 128K, com 65,1, e o IQ3_XXS em contexto curto de 4K, com 65,6. Para uma conversa de 128K no IQ3_XXS, o número correto é 44,8.

O famoso 3x também merece cuidado. A conta parte de uma linha de base de 15 tokens/s, e 44,8 dividido por 15 dá aproximadamente três. Essa linha de base de 15 não aparece nos documentos do repositório, e nada ali diz qual software ou configuração a produziu. Três vezes mais rápido do que um sistema desconhecido informa pouco.

A tabela lista ainda números para outras placas, como a 5060 Ti e a 3090, mas eles não foram medidos. A própria documentação os chama de estimativas e pede que você os trate com margem de mais ou menos 20%.

## Licença, qualidade e comparação com alternativas

O Strata LLM está em estágio inicial e sem licença definida, e isso muda o que você pode fazer com ele hoje. O código é legível e o layout é bem pensado, mas sem licença explícita não há permissão de reúso. Espere a definição antes de construir qualquer coisa sobre o projeto.

Qualidade é uma pergunta separada da velocidade. A tabela do repositório chama o IQ3_XXS de melhor configuração, e essa é uma palavra do próprio autor. Tabelas de velocidade medem tokens por segundo, não a qualidade das respostas, então as linhas de 2 bits mais rápidas não são automaticamente a melhor escolha para uso real.

A tabela abaixo resume o que está documentado hoje no repositório do próprio projeto.

## FAQ

- **O Strata LLM roda mesmo em uma GPU de 12 GB?** O repositório do projeto afirma que sim, com uma RTX 5070 de 12 GB e 64 GB de RAM. A estratégia é manter atenção e KV cache na VRAM e mandar os especialistas raros para a CPU. Os 44,8 tokens/s a 128K são medição do desenvolvedor, sem verificação independente.

- **Por que o modelo aparece como 125B e como 180B?** Os 125 bilhões são o núcleo que faz o raciocínio. Os outros 55 bilhões vêm da tabela de n-gramas, com 51 bilhões, e da camada MTP, com 4 bilhões. Somando tudo, chega-se aos 180 bilhões do card do modelo.

- **Posso usar o Strata LLM em um projeto comercial?** Hoje não há licença definida no repositório, então não existe permissão explícita de reúso. O projeto usa llama.cpp e GGML, que são MIT, mas isso cobre as dependências, não o código do Strata. Espere a definição da licença.

- **Os 65 tokens/s divulgados para o Strata LLM são falsos?** Não, mas correspondem a outra configuração. Esse valor aparece no Q2_0 a 128K de contexto e no IQ3_XXS em contexto curto de 4K. Para uma conversa longa em três bits, o número documentado é 44,8 tokens/s.

[Source video](https://www.youtube.com/watch?v=39d3gJZRr9A)