Matemática de memória

Uma única conta decide o que você consegue rodar localmente: o que cabe na RAM. No fim desta lição você vai prever, de cabeça, se um modelo entra nos seus 128 GB — e vai entender por que o DeepSeek-V4-Flash (284 B) só cabe em 2 bits, e por que mesmo assim continua inteligente.

01 · A fórmula que decide tudo

Antes de qualquer download, antes de escolher engine, antes de pensar em velocidade, existe uma pergunta que ou passa ou reprova o modelo: os pesos cabem na memória? Se não cabem, nada mais importa — o modelo nem carrega. E a conta para responder isso é deliberadamente simples:

VRAM (em GB) ≈ Parâmetros (bilhões) × (bits efetivos ÷ 8). That's it.— Ahmad Osman, "GPU Memory Math for LLMs (2026)"

Anatomia: o que cada termo significa

A fórmula tem três peças, e cada uma é um conceito que vale entender de verdade — não decorar:

Parâmetros são os números que o modelo aprendeu no treino — os "pesos". Um modelo "de 284 B" tem 284 bilhões deles. Bits por peso é quanta precisão você guarda de cada número: 16 bits é o original de treino; 2 bits é uma versão fortemente comprimida. O ÷ 8 só converte bits em bytes (8 bits = 1 byte), porque memória se mede em bytes. Multiplique os três e você tem os gigabytes que os pesos ocupam — antes de KV cache e sistema (que entram na seção 05 e na Lição 06).

Cabe ou não cabe? O mesmo modelo, duas precisões

O veredito de capacidade é binário: ou os pesos entram nos 128 GB, ou o modelo nem carrega. Veja o mesmo DeepSeek-V4-Flash decidido pela fórmula em duas precisões — FP16 estoura, Q2 entra:

Agora calcule você mesmo

Arraste os dois sliders. A barra cresce em escala real e troca de cor — verde = cabe, vermelho = não cabe nos 128 GB do M5 Max:

02 · O que é, de fato, "quantização"

A fórmula mostrou que bits por peso é a alavanca da memória. Quantizar é puxar essa alavanca: guardar cada peso em menos bits. O modelo treina em 16 bits (FP16/BF16) por peso; quantizar reescreve esses mesmos pesos numa grade mais grossa de valores — menos casas, menos memória, alguma perda de fidelidade.

A escada completa — e o que cada degrau custa

Não existe só "16 ou 2". Há uma escada de formatos. Esta é a referência prática para o seu Mac, em GB por bilhão de parâmetros:

Mexa o slider abaixo: o degrau correspondente acende. Veja como a barra encolhe a cada formato — é a memória que você economiza, e (seção 05) a qualidade que arrisca:

A escada como escada: cada degrau troca memória por fidelidade

Pense na quantização como uma escada que você desce: cada degrau abaixo corta a memória, mas também corta um pouco da fidelidade. Você desce só até onde precisa caber — nem um degrau a mais, porque cada degrau abaixo do necessário é qualidade jogada fora de graça:

03 · O que cabe nos seus 128 GB

Com a fórmula e a escada na mão, dá para responder a pergunta de capacidade para qualquer modelo. Duas leituras complementares: primeiro um caso concreto (o DeepSeek-V4-Flash de 284 B em cada precisão), depois uma grade geral para você explorar.

O caso do 284 B, em escala real

As barras abaixo estão na mesma escala do teto de 128 GB. Repare: só a Q2 cruza para baixo da linha.

É por isso que o DS4 quantiza em 2 bits: não é escolha estética, é a única precisão em que um modelo desse porte entra em 128 GB. Em Q4 já seriam 159 GB — você precisaria de um Mac Studio de 256 GB.

A grade geral — explore

Mexa o slider de tamanho: a linha do modelo acende e cada célula mostra ✓ (cabe) / ✗ (não cabe) em 128 GB, com os GB de pesos calculados pela fórmula.

04 · Faça a conta na mão (passo a passo → agora você)

Você já viu a fórmula girar nos sliders. Agora faça-a na mão, devagar, com o caso de referência — depois um exercício é seu. Recuperar o procedimento (não só ver o número pronto) é o que fixa de verdade.

05 · A folga: nunca encha a RAM até 100%

Os pesos são só uma parte do que ocupa a memória durante a inferência. Encher a RAM até a borda com os pesos e achar que "cabe" é um erro clássico — na hora de rodar, mais coisas disputam o mesmo espaço:

Leave 10 to 20 percent headroom. Running at 99 percent VRAM is begging for out-of-memory and fragmentation failures.— Ahmad Osman, "LLMs 101 (2026)"

Agora sinta a regra: arraste o uso total e veja quando você cruza o teto seguro de 80% (~102 GB):

06 · Decisão: "esse modelo roda no meu Mac?" (fluxograma)

Junte a fórmula, a escada e a folga numa única decisão. Diante de qualquer modelo novo, siga este fluxograma de cabeça: ele leva da pergunta de capacidade até o veredito "baixa" ou "pula". Siga as setas — cada losango é uma pergunta que escolhe o caminho.

07 · Menor+preciso vence maior+esmagado

A tentação é sempre "baixar o maior modelo que couber". Mas memória não é a única variável — fidelidade por peso também conta. Um modelo menor em alta precisão frequentemente ganha de um maior comprimido demais:

A smaller model at higher precision can beat a larger model crushed into too few bits.— Ahmad Osman, "LLMs 101 (2026)"

Clique para comparar dois modelos que ocupam memória parecida:

Então como o DeepSeek (284B) sobrevive a 2 bits?

Aqui está a peça que fecha a lição. Se 2-bit ingênuo destrói a qualidade, como o DS4 entrega um modelo de 284 B em 81 GB que ainda chama ferramentas de forma confiável? A resposta é quantização assimétrica: ele não esmaga tudo igual. A maior parte do volume (os "experts" do MoE, que raramente são acionados juntos) vai para 2 bits; as poucas camadas críticas (atenção, projeções compartilhadas, roteamento) ficam em 8 bits.

It's not a joke — it calls tools reliably even at 2-bit.— antirez, DS4 MODEL_CARD (sobre a quant assimétrica do DeepSeek-V4-Flash)

É por isso que o GGUF real dá 81 GB e não os 71 da conta limpa: aquele "a mais" são as camadas mantidas em Q8 de propósito. A fórmula te diz o piso; a engenharia da quantização decide se o modelo continua útil — assunto inteiro da Lição 04.

08 · Q2 vs Q4 vs FP16: o trade-off lado a lado

Toda a lição gira em torno de um trade-off: menos bits = menos RAM, mas menos qualidade. Veja-o explícito, na mesma tabela, para os mesmos 284 B do DS4 — memória, veredito de capacidade e o que cada precisão custa em fidelidade. A tabela diz os números; o gráfico abaixo torna o trade-off visível.

O gráfico de barras empilha as duas dimensões: a altura é a memória; a cor da etiqueta é o veredito. Só a barra da Q2 cruza para baixo da linha dos 128 GB:

O orçamento dos 128 GB — onde cada GB vai (Q2)

Caber os pesos é metade da história. Os 128 GB são um orçamento repartido entre pesos, KV cache, sistema operacional e a folga obrigatória. Veja a divisão típica rodando o DS4 q2 com contexto moderado:

Fixe os conceitos (flashcards)

Clique pra virar. Tente lembrar a resposta antes de virar — recuperação ativa fixa mais que reler.