# MoE em GPU de 8 GB vale a pena em 2026?

> Published 2026-10-17T01:31:57.748Z on https://www.crazystack.com.br/pt/p/moe-em-gpu-de-8-gb-vale-a-pena-em-2026/
> Source video: https://www.youtube.com/watch?v=WGbZWYhMSTM

O MoE em GPU de 8 GB é viável porque só uma fração dos parâmetros é lida por token. No llama.cpp, os experts roteados ficam na RAM e as partes sempre ativas ficam na VRAM. Um relato no Reddit cita 17 a 19 tokens por segundo num modelo de 125B, mas o número não foi verificado.

## O que é MoE em GPU de 8 GB e por que ele cabe

MoE em GPU de 8 GB é a prática de rodar modelos de mistura de especialistas mantendo na VRAM só os pesos que todo token usa. Um modelo de 125B parâmetros ativa perto de 6B por token, segundo a descrição do próprio modelo. O resto fica ocioso e pode morar na RAM do sistema.

A arquitetura de mistura de especialistas, ou MoE, divide o modelo em muitos blocos de pesos chamados experts. Cada camada tem um roteador que escolhe poucos experts por token. Em modelos grandes, isso reduz o custo de leitura por token para uma fração do total de parâmetros.

A regra prática que resume o mecanismo: a GPU guarda o que todo token toca, e a RAM guarda o que só alguns tokens tocam. Attention, camadas densas e o shared expert rodam sempre. Os experts roteados rodam de forma esporádica.

O [llama.cpp](https://github.com/ggml-org/llama.cpp), projeto de inferência local em C/C++ do ecossistema ggml, implementa esse roteamento com offload seletivo. Os nomes das flags e o comportamento variam por build, então confira a documentação da versão que você usa antes de copiar comandos.

## Como o llama.cpp separa attention e experts

O llama.cpp mantém attention, camadas densas e KV cache no dispositivo quando você usa as flags de offload de experts. O KV cache cresce com o histórico da conversa. Por isso ele divide VRAM com os pesos sempre ativos, e não com os experts ociosos.

Essa é a diferença central entre o split por camada e o split por expert. No modo padrão, o llama.cpp divide por camada inteira. A VRAM guarda algumas camadas completas, incluindo experts raramente usados, e a RAM recebe o resto.

No split por expert, a placa guarda as partes que cada token lê e a CPU executacada expert roteado. O projeto adicionou a flag de offload de experts e, poucos dias depois, a variante que limita quantas camadas ficam na CPU. Ambas foram mescladas em agosto de 2025.

A flag numérica permite controlar quantas camadas mantêm experts na CPU. Um valor menor deixa mais camadas de experts na placa. Isso ajuda quando a VRAM sobra depois de acomodar attention e KV cache.

## Quanto de VRAM as partes ativas ocupam

Uma estimativa do próprio autor do vídeo coloca as partes sempre ativas em cerca de 2,25 a 2,6 GB com quantização de 3 a 3,5 bits por peso. O cálculo parte de 6B parâmetros ativos, não do total de 125B. Não é medição, e os sources citados não informam o tamanho exato.

O número depende da quantização. Quantizar é guardar cada peso com menos bits. Bits menores reduzem o arquivo e costumam custar qualidade, mas nenhuma fonte citada mede essa perda para este modelo.

O KV cache ocupa o espaço restante e cresce com o contexto. Uma conversa longa pode consumir vários gigabytes de VRAM mesmo com os experts na RAM. Se a placa encher, o llama.cpp passa a usar menos camadas na GPU e a velocidade cai.

A conta de banda ajuda a entender o teto. A 19 tokens por segundo, 6B parâmetros ativos implicam algo entre 43 e 50 GB de leitura por segundo na estimativa do autor. É um limite superior, porque parte dos pesos já está na VRAM.

## RAM e SSD: por que 64 GB viraram o alvo

Os arquivos quantizados do modelo de 125B começam em 72,5 GB e sobem até 111 GB, segundo a lista do [Unsloth](https://huggingface.co/unsloth), projeto conhecido por publicar versões quantizadas de modelos abertos. A versão BF16 original tem 354 GB.

Somar 8 GB de VRAM a 64 GB de RAM dá 72 GB, menos que o menor arquivo. Por isso parte do modelo precisa de outro lugar. O modelo também traz uma tabela N-gram de 51B parâmetros, lida por consultas aleatórias, que o Unsloth recomenda colocar no SSD com mapeamento de memória.

Com a tabela no disco, sobram cerca de 47 GB para os demais pesos na estimativa do autor do vídeo. O sistema operacional e o KV cache também consomem RAM. O SSD passa a fazer parte do setup, e nenhuma fonte citada indica velocidade de disco mínima.

O Unsloth mantém a tabela em 4 bits ou mais. A 4 bits, a estimativa do autor é de cerca de 25 GB. Esse número não foi verificado de forma independente.

## Quanto o split por expert acelera na prática

Um relato de usuário no Reddit cita de 17 a 19 tokens por segundo num modelo de 125B com uma RTX 4060 Ti de 8 GB e 64 GB de RAM. O mesmo relato diz que o padrão rendia 4 tokens por segundo. Os dois números são resultados de usuário, não benchmarks.

Na [thread do Unsloth no Hugging Face](https://huggingface.co/unsloth), outros setups aparecem. Uma RTX 3090 com 24 GB de VRAM e 128 GB de DDR4 relata 19 tokens por segundo. Uma RTX 5080 com 16 GB e 64 GB de DDR5 relata 27,5 a 29, e esse resultado usa especulação por N-gram, então não serve como comparação direta.

A thread não tem relato de 8 GB. Os 17 a 19 tokens por segundo ficam na mesma faixa da 3090, mas nada na thread confirma o número da placa de 8 GB. Trate como experiência individual, com RAM, SSD e build diferentes.

O autor do vídeo não mede quanto do salto de 4 para 17 a 19 tokens por segundo vem de cada ajuste. Também não há medição isolada do ganho do split por expert. A ordem dos fatores, portanto, permanece desconhecida.

## Os três ajustes citados e suas evidências

Três mudanças aparecem nos relatos, e cada uma tem um nível de evidência diferente. Nenhuma delas foi medida em conjunto controlado, e o autor do vídeo deixa claro que não sabe quanto cada uma contribui para o total.

Monitor na iGPU: o usuário credita de 20% a 30% de ganho. Um post no Reddit relata a mesma mudança numa RTX 4070 Super com o modelo de 35B, passando de 50 para 55 tokens por segundo, cerca de 10%. Comentaristas relatam 100 a 120, um ganho de 20%. O ganho maior é menor que a alegação para a placa de 8 GB.

Linux nativo em vez de WSL2: o usuário credita de 33% a 38%. O blog da Nvidia de 2021 sobre WSL2 descreve chamadas de GPU em sequência por um link virtual, e o guia CUDA da Nvidia diz que o WSL limita memória fixada. A Nvidia também relata desempenho quase nativo para cargas grandes, com a diferença concentrada em lançamentos pequenos e sequenciais. Nenhuma fonte explica o percentual citado.

Build certo por modelo: o usuário diz que o melhor build difere entre os modelos de 35B e 125B, mas não informa qual usar. Builds mudam rápido, então anote o número do build em cada teste. O autor do vídeo marca tudo como válido em 6 de outubro de 2026.

## Strata, AMD e o limite do que foi verificado

Um usuário relata 24 tokens por segundo num modelo de 125B com uma RX 7600 de 8 GB usando um engine chamado Strata. Esse resultado tem a maior ressalva de todas: o Strata é um engine dedicado para esse modelo, com divisão de trabalho diferente do llama.cpp.

O README do Strata diz que a GPU guarda os experts usados com mais frequência e a RAM guarda todos. A CPU resolve os cache misses, ou seja, os experts escolhidos que não estão na placa. O mesmo README avisa que de 35 a 55 GB são carregados na RAM na inicialização.

O README também informa que o Strata exige 12 GB de VRAM ou mais, e a RX 7600 não está na lista de placas suportadas. O resultado de 8 GB vai além do que o próprio projeto declara. O usuário depende de uma correção que não foi mesclada, sem pull request ou issue pública no repositório até 6 de outubro de 2026.

O Strata usa um modelo auxiliar para adivinhar as próximas palavras e verificar várias de uma vez. O README chama isso da mesma resposta, de 1,6 a 1,8 vez mais cedo. É um número do próprio projeto, sem verificação independente. Nos benchmarks do Strata, uma RTX de 12 GB chega a 94 tokens por segundo no arquivo Q2.

## Perguntas frequentes sobre MoE em GPU de 8 GB

- **Dá para rodar um modelo de 125B com 8 GB de VRAM?** Dá, desde que os experts roteados fiquem na RAM e o SSD guarde a tabela N-gram. Você precisa de cerca de 64 GB de RAM e de uma versão quantizada, já que o menor arquivo citado tem 72,5 GB. A velocidade depende do seu hardware e do build.

## Perguntas frequentes sobre MoE em GPU de 8 GB

- **O ganho de 17 a 19 tokens por segundo é confiável?** Não como benchmark. É um relato de usuário, sem verificação, sem detalhamento do build e sem controle das variáveis. A thread oficial do Unsloth não tem nenhum resultado de 8 GB para confirmar a faixa.

## Perguntas frequentes sobre MoE em GPU de 8 GB

- **Qual a diferença entre split por camada e split por expert?** O split por camada coloca camadas inteiras na VRAM, incluindo experts raramente usados. O split por expert mantém na placa só as partes que todo token lê e manda os experts roteados para a RAM. A hipótese é que o segundo aproveita melhor 8 GB, mas o tamanho do ganho não foi medido.

## Perguntas frequentes sobre MoE em GPU de 8 GB

- **Vale a pena usar WSL2 com offload de experts?** O usuário relata ganho de 33% a 38% com Linux nativo, mas nenhuma fonte explica a causa. A Nvidia documenta limitações do WSL2 em memória fixada e lançamentos pequenos sequenciais. Teste no seu hardware antes de assumir o percentual.

## Perguntas frequentes sobre MoE em GPU de 8 GB

- **O modelo quantizado responde tão bem quanto o original?** Nenhuma das fontes citadas mede a perda de qualidade dos arquivos de baixa precisão. O teste que decide isso é seu: compare, nas suas tarefas, um modelo de 125B em poucos bits com um modelo menor em precisão maior.

[Source video](https://www.youtube.com/watch?v=WGbZWYhMSTM)