A Lição 02 mostrou que cada bit a menos por peso encolhe o modelo na memória — e introduziu a fórmula. Mas encolher tem um preço: em algum ponto a inteligência começa a desmoronar, e ela não desmorona por igual. Esta é a lição profunda da quantização: a curva real de qualidade bit a bit, o que quebra primeiro quando você aperta demais, e a receita assimétrica que faz um modelo enorme caber em 2 bits sem perder a capacidade de usar ferramentas.
Esta lição destila esse artigo (a escada de qualidade, "o que degrada primeiro", "menor+preciso vence maior+esmagado") + o MODEL_CARD do DS4 do antirez (a receita assimétrica). Por que importa pra missão: a fórmula da Lição 02 diz se o modelo cabe; esta lição diz se ele continua útil — o filtro que decide qual quant do cérebro local do Alembic você baixa.
Objetivos desta lição
Ler a curva real de qualidade × bits — saber onde está o penhasco e por que ele cai entre Q4 e Q2.
Memorizar a escada nomeada (FP16 → Q8 → Q6/Q5 → Q4 → Q3/Q2) e o GB/1B de cada degrau.
Diagnosticar quant ruim pela ordem do que quebra (math → raciocínio → código → JSON → tools).
Entender a receita assimétrica do DS4 e quando ela cabe — e quando ela não cabe.
Q4
ponto-doce do consumidor (qualidade × tamanho)
Q8
quase sem perda (near-lossless)
2 bits
só os experts roteados do MoE (a maioria do modelo)
Q8
intocado: shared experts, projeções, roteamento
MAPA DESTA LIÇÃO · cinco seções e como elas se ligam
A lição segue esse fluxo. Se em qualquer ponto se perder, volte a este mapa — ele te diz onde você está.
01 · A curva da qualidade — a perda não é linear
Quantizar é trocar precisão numérica por espaço. No topo, FP16/BF16 é a linha de base: a qualidade plena com que o modelo foi treinado. Cada degrau abaixo corta bits e, com eles, um pouco de fidelidade. O ponto que muda tudo é este: a perda não é linear. Os primeiros degraus quase não custam nada; os últimos custam a inteligência inteira. Existe um penhasco — e ele cai bem abaixo de Q4.
QUALIDADE RETIDA (%) × BITS POR PESO · plana até Q4, penhasco depois
De FP16 a Q4 a curva quase não cai — a qualidade é "barata" de manter. Abaixo de Q4 ela despenca: cada bit a menos custa cada vez mais inteligência. É por isso que Q3/Q2 são último recurso, não escolha padrão.
A smaller model at higher precision can beat a larger model crushed into too few bits.— Ahmad Osman, "LLMs 101 (2026)"
Sinta o trade-off você mesmo
Toda a lição cabe nesta tensão: menos bits = menos memória, mas menos qualidade. Arraste o slider de bits e veja as duas barras recalcularem ao vivo — verde = qualidade retida (cai pouco até Q4, despenca depois) e laranja = tamanho relativo (encolhe linearmente). O alvo é a maior queda de tamanho com a menor perda de qualidade — e é exatamente Q4:
Repare: descer de 4→2 bits corta o tamanho pela metade, mas derruba a qualidade — é a borda do penhasco. Subir de 4→8 quase não melhora a qualidade e dobra a memória. Q4 é onde as duas curvas se cruzam melhor.
→ Como a quantização funciona, por dentro
Antes de comparar formatos, vale ver o que o quantizador de fato faz com os pesos. Não é magia: é um pipeline de quatro passos sobre os mesmos números — e termina numa decisão de aceitar ou subir de precisão. Acompanhe o fluxo (a seta tracejada se desenha quando a seção aparece):
Em uma frase: quantizar é pegar um número guardado com muitas casas e arredondá-lo para a casa mais próxima de uma régua com menos marcas. Menos marcas = menos bits = menos memória — e o erro de arredondamento é a "perda de qualidade". Imagine medir sua altura: 1,7823 m (FP16) vs. arredondar para 1,8 m (Q2). Para dizer "sou alto" tanto faz; para costurar uma calça, o detalhe importa — é exatamente o que quebra primeiro.
A MESMA RÉGUA, GROSSA vs FINA · por que poucos bits = arredondamento maior
Mesmo peso, duas réguas. Na fina ele cai quase em cima de uma marca (erro ínfimo); na grossa, só há 4 marcas (2 bits = 2² = 4 valores), então ele é puxado para longe — esse desvio, somado em bilhões de pesos, é a perda de qualidade.
Tecnicamente: agrupa-se os pesos em blocos (ex.: 32 valores); para cada bloco guarda-se um fator de escala (e às vezes um zero-point) e cada peso vira um inteiro de n bits que multiplica essa escala. Esquemas K (Q4_K, Q2_K) usam escala por sub-bloco; o imatrix pondera o erro pela importância de cada peso medida num corpus. Por isso "2 bits" no arquivo nunca é exatamente 0,25 byte/peso: somam-se as escalas e os metadados por bloco.
PIPELINE DE QUANTIZAÇÃO · do peso FP16 ao GGUF — com o ponto de decisão
O ramo "não" é a receita assimétrica e o plano B em embrião: quando a qualidade não passa, você sobe a precisão onde dói — exatamente o que as seções 04 e 05 detalham para o DS4.
Calcule o GGUF do DeepSeek (284 B) por formato
Esta é a ponte direta com a fórmula da Lição 02 (params × bits ÷ 8), agora aplicada ao nosso modelo recorrente. Arraste o formato de Q2_K a FP16: o tamanho dos pesos recalcula em GB e a barra de qualidade redesenha — você vê, no mesmo gesto, o que ganha de memória e o que perde de inteligência. Procure o ponto onde a barra verde ainda é alta mas a azul já caiu bastante.
BITS POR PESO → GB DOS PESOS (284 B) + QUALIDADE · Q2_K … Q8 … FP16
É a mesma fórmula da Lição 02, agora com a qualidade ao lado. Note o cruzamento: só Q2_K cabe em 128 GB para 284 B, e é justo onde a qualidade ingênua desaba — é essa tensão que a receita assimétrica (seção 04) resolve.
Preveja antes de revelar
Em FP16 (16 bits/peso), quantos GB os pesos do DeepSeek-V4-Flash (284 B) ocupariam? Some na cabeça com 284 × 16 ÷ 8 antes de clicar.
≈ 568 GB. Some da tela e exigiria ~5 Macs deste porte só para os pesos. Por isso FP16 é referência de treino, não opção de inferência local para um modelo grande — e por isso a quantização não é "luxo de otimização": para o DS4 ela é a única via de caber. (284 × 16 ÷ 8 = 568.)
02 · A escada nomeada, degrau a degrau
Não existe só "16 ou 2". Há uma escada de formatos, e cada nível tem um caráter próprio. Esta é a leitura prática — combinada com o custo em GB por bilhão de parâmetros que derivamos na Lição 02. Mexa o slider: o degrau correspondente acende, e a barra mostra a memória que você economiza a cada formato.
A ESCADA · do melhor (topo) ao último recurso (base) · GB por 1B de parâmetros
Nível
Caráter
~GB / 1B
Quando escolher
FP16 / BF16
linha de base · qualidade plena
~2,0
Referência / treino. Raramente para inferência local.
Q8 / INT8
quase sem perda
~1,0
Quando cabe e você quer o teto de qualidade local.
Q6 / Q5
excelente · forte meio-termo
~0,7
Equilíbrio quando Q8 não cabe mas você não quer arriscar.
Q4 ★
ponto-doce do consumidor
~0,5
Default geral. Melhor qualidade × tamanho na prática.
Q3 / Q2
último recurso
~0,3
Só para encaixar um modelo maior que de outra forma não caberia.
A regra-mãe: a escolha entre "modelo maior em poucos bits" e "modelo menor em mais bits" não é óbvia — e o default vence a intuição. Em geral, mais bits num modelo menor ganha de poucos bits num modelo grande. A exceção (seção 04) exige uma receita especial.
→ Decisão: qual quant baixar?
A escada vira ação numa árvore de decisão. Em vez de "qual o melhor formato?" (não existe resposta única), pergunte na ordem certa: cabe? sobra folga? é tarefa de agente? O fluxograma abaixo é o algoritmo que você roda de cabeça antes de cada download — losangos são decisões, retângulos são a escolha final.
QUAL QUANT BAIXAR · o algoritmo que você roda antes do download
Lendo a árvore: o caminho comum termina em ★ Q4; o nosso DS4 (284 B, não cabe em Q4) só sobrevive pelo ramo da esquerda — Q2 assimétrico. Os dois únicos jeitos legítimos de chegar a 2 bits são esse ramo e o plano B.
03 · O que quebra primeiro
Quando você aperta a quantização, a degradação não aparece em tudo de uma vez. Ela ataca por ordem — as capacidades mais frágeis caem antes. Saber essa ordem é o seu painel de diagnóstico: se o modelo começa a errar contas e a desobedecer ao esquema JSON, você apertou bits demais. Clique em cada capacidade abaixo para ver como o baixo-bit a atinge:
CONFORME OS BITS APERTAM → ESTAS CAPACIDADES CAEM NESTA ORDEM · clique para detalhar
Matemática — o canário, quebra cedo. Aritmética exata depende dos detalhes finos dos pesos; é a primeira a virar ruído. Se o modelo passa a errar somas simples ou contas de várias casas, é o sinal mais precoce de que você apertou bits demais. ✗ quebra cedo
Raciocínio multi-passo. Cadeias longas de dedução perdem o fio: o modelo começa bem e se desvia no meio. A resposta "parece" coerente, mas a conclusão não fecha. ✗ quebra cedo
Correção de código. A sintaxe sobrevive (o modelo ainda escreve algo que compila), mas a lógica e os casos de borda falham. Bugs sutis em vez de erros óbvios — o pior tipo. △ degrada no meio
Aderência a JSON / schema. Campos faltando, tipos errados, vírgulas a mais. A saída estruturada é justamente o que um pipeline automatizado consome — e ela começa a desobedecer ao contrato. △ degrada no meio
Confiabilidade de tool-use. Chama a ferramenta errada, ou a certa com argumentos malformados. Para um agente, isto é fatal — é o que separa "assistente que conversa" de "agente que age". (A receita assimétrica da seção 04 existe justamente para salvar isto.) ○ aguenta mais
Retrieval de contexto longo. Esquece detalhes lá no início da janela; o modelo "perde a memória" do que foi dito antes. Aguenta mais que math/tools, mas some sob pressão de contexto. ○ aguenta mais
Prosa fluida · conversa casual — resiste por último. É por isso que "parece bom" engana: você conversa com o modelo, ele responde com fluência, e você conclui que está ótimo. Mas prosa genérica é a capacidade mais robusta — ela continua boa muito depois de math e tool-use já terem quebrado. ✓ resiste
A ordem é o seu diagnóstico. Conversa fluida resiste muito — por isso "parece bom" engana. A falha real aparece em math, raciocínio, código, schema e tool-use: exatamente o que um agente precisa.
Q3/Q2: matemática, código, saída estruturada e uso de ferramentas degradam PRIMEIRO.— Ahmad Osman, "LLMs 101 (2026)"
O KV cache é um botão separado
Atenção a uma armadilha: quantizar os pesos e quantizar o KV cache são dois botões diferentes. Você pode rodar pesos em Q4 e KV cache em FP16 — são independentes. Para o KV, FP16 é o padrão seguro e FP8/INT8 é o piso prático (dobra a janela útil); abaixo de 8 bits é território de pesquisa (KIVI, KVQuant), não um toggle casual. A escada própria do KV é o tema da Lição 06.
→ Comparativo direto: Q2 · Q4 · Q8 · FP16
Junte tudo numa só tabela: os quatro formatos de referência, lado a lado, no que de fato importa para decidir — tamanho (Lição 02), qualidade, o que aguenta, e quando escolher. As células de capacidade usam o veredicto da seção 03 (✓ resiste · △ degrada · ✗ quebra cedo):
Dimensão
Q2_K
Q4 ★
Q8
FP16
Bits / peso
~2
~4
~8
16
~GB / 1B
~0,3
~0,5
~1,0
~2,0
284 B (pesos)
~71 GB*
~159 GB
~284 GB
~568 GB
Cabe em 128 GB?
só assimétrico ✓
✗
✗
✗
Math exata
✗ quebra cedo
✓
✓
✓
Código / lógica
✗
△ quase
✓
✓
Tool-use / JSON
✗ ingênuo
✓
✓
✓
Prosa fluida
✓ resiste
✓
✓
✓
Quando escolher
último recurso / caber gigante
default geral
teto de qualidade local
treino / referência
*~71 GB é a conta limpa (284 × 2 ÷ 8); o GGUF assimétrico real do DS4 dá 81 GB — o "a mais" são as camadas mantidas em Q8. Em Q2 ingênuo a coluna de capacidade seria toda ✗ exceto prosa; é a receita assimétrica que recupera tool-use sem mudar quase nada o tamanho.
Leitura da tabela: note como as três primeiras linhas (tamanho) e as quatro do meio (capacidade) puxam para lados opostos. Descer formato sempre ganha memória; mas a partir de Q4→Q2 você começa a pagar com as capacidades de agente. A linha "Cabe em 128 GB?" é a única que força a mão: para 284 B, ela só tem um ✓ — e ele exige a receita especial.
O penhasco, capacidade por capacidade
A curva da seção 01 mostrava a qualidade média. Mas a média esconde o ponto-chave: as capacidades não caem juntas. Este comparativo "X vs Y" coloca Q4 (azul) e Q2 ingênuo (clay) lado a lado por capacidade — veja onde as barras divergem (o penhasco mora aí) e onde elas empatam (prosa):
Q4 vs Q2 INGÊNUO · qualidade retida por capacidade — onde as barras divergem é o penhasco
Valores ilustrativos da forma do colapso descrita pelo Ahmad (não medições): o ponto é o padrão — Q4 mantém tudo alto; Q2 ingênuo só preserva prosa. [uncertain: percentuais exatos por capacidade] — a ordem e a divergência são a fonte; os números pintam o quadro.
04 · A receita assimétrica — a resolução
Até aqui a conclusão parece desanimadora: Q2 quebra tool-use, logo modelos grandes em 2 bits estão fora. Mas há uma saída elegante, e ela é o coração desta lição. Em vez de esmagar tudo a 2 bits, você esmaga só a parte que aguenta — e deixa intactas as partes sensíveis. O diagrama abaixo é à escala: a largura de cada bloco é proporcional à fatia do modelo. Veja a barra montar.
RECEITA ASSIMÉTRICA DO DS4 · à escala — o que vira 2 bits vs. o que fica em Q8
O truque: os experts roteados são a maioria dos bytes, então comprimi-los rende quase toda a economia de memória. As partes que orquestram (shared, projeções, roteamento) são pequenas — mantê-las em Q8 custa pouco espaço e salva a inteligência.
Ingênuo vs. assimétrico, lado a lado
A diferença entre um Q2 que falha e um Q2 que funciona é onde os 2 bits caem. Clique para alternar entre o jeito ingênuo (tudo a 2 bits — o cenário em que o Ahmad está certo) e o jeito assimétrico (onde a receita do antirez vence):
Q2 INGÊNUO · tudo esmagado a 2 bits → a decisão de QUAL expert vira ruído
Q2 ASSIMÉTRICO · só os experts a 2 bits → a decisão fica intacta em Q8
Os dois ocupam quase o mesmo espaço — porque os experts roteados (a maioria dos bytes) estão a 2 bits nos dois. A diferença é cirúrgica: o assimétrico paga uns poucos GB a mais para deixar as partes que decidem em Q8, e é isso que salva o tool-use. (É também por isso que o GGUF real do DS4 dá 81 GB e não os ~71 da conta limpa da Lição 02: o "a mais" são as camadas mantidas em Q8 de propósito.)
antirez · "não são piada" — a receita do DeepSeek-V4-Flash
Os quants de 2 bits não são piada: eles se comportam bem, funcionam sob agentes de coding, chamam ferramentas de forma confiável. Só os experts roteados do MoE são quantizados — up/gate em IQ2_XXS, down em Q2_K — eles são a MAIORIA do espaço do modelo; shared experts, projeções e roteamento ficam INTOCADOS (Q8) para garantir a qualidade.— antirez, MODEL_CARD do DeepSeek-V4-Flash (DS4)
E há um segundo ingrediente: o próprio modelo. O DeepSeek-V4-Flash "resiste muito bem à quantização de 2 bits". Receita assimétrica + modelo Q2-resistente = o raro caso em que 2 bits servem para produção.
05 · A síntese — quem está certo?
Os dois. Não é contradição, é contexto. O Ahmad fala do caso geral; o antirez, de um caso construído de propósito para escapar dele. A regra continua valendo — e a exceção é uma exceção engenheirada, não um contra-exemplo.
NÃO É CONTRADIÇÃO — É A REGRA GERAL E A EXCEÇÃO CONSTRUÍDA
A leitura unificada: a heurística do Ahmad ("desconfie de poucos bits") continua sendo o seu default — vale para quase todo modelo e todo quant ingênuo. O caso do antirez é a exceção engenheirada: quantização assimétrica aplicada a um modelo que resiste a 2 bits. Quando os dois se combinam, 2 bits viram produção. Fora disso, suba a precisão.
O plano B concreto
Se na prática o q2 decepcionar em matemática ou código difícil, o degrau seguinte é o q2-q4-imatrix (98 GB) — as últimas camadas sobem para q4 e recuperam o gume nos casos duros. É a aplicação direta da escada: subiu um degrau de precisão onde dói. (O custo de memória dessa escolha é o tema da Lição 08.)
Worked example — escolha o quant, passo a passo
Vamos rodar a árvore de decisão num caso real, do jeito que você faria antes de baixar. Cenário: você quer rodar um agente de código local; o candidato é um modelo de 70 B e o seu Mac tem 128 GB. Siga os passos — depois há um "agora você" para fixar.
Decidir o quant de um 70 B para um agente · 128 GB
1
Q4 cabe? Pela fórmula da Lição 02: 70 × 0,5 ÷ 8 × 8 → use o atalho GB/1B: 70 × ~0,5 ≈ ~35 GB de pesos. Bem abaixo de 128 GB. → sim, cabe.
2
Sobra folga? 35 GB de pesos + KV + SO ainda deixa dezenas de GB livres. → muita folga. A árvore diz: posso subir de precisão.
3
É tarefa de agente? Sim — código, tools, JSON. Logo não quero arriscar o penhasco; quero margem nas capacidades frágeis (seção 03).
4
Decisão: com folga e tarefa de agente, suba o default Q4 para Q6 (~49 GB) ou Q8 (~70 GB) — ambos cabem com folga e blindam math/código/tool-use. Aqui Q2 seria um erro: economizaria memória que você nem precisa, em troca das exatas capacidades do agente.
→
Agora você. Mesmo Mac (128 GB), mas o candidato é o DeepSeek-V4-Flash de 284 B. Rode os passos: (1) Q4 cabe? 284 × 0,5 ≈ 142 GB → não. (2) Q8/Q6? ainda maiores → não. (3) Resta o ramo da esquerda da árvore: Q2 assimétrico (81 GB real) — o único caminho, e só porque a receita preserva tool-use. Confira: chegou no mesmo ramo do fluxograma da seção → "Decisão".
AS TRÊS SAÍDAS DO WORKED · pesos vs teto de 128 GB (à escala)
Visual do contraste: as duas escolhas do 70 B (Q4/Q8) nadam em folga; o 284 B em Q2 ocupa mais que o 70 B em Q8 e ainda assim é a única opção viável para um modelo desse porte.
O contraste que o worked revela: o 70 B e o 284 B percorrem a mesma árvore e param em lugares opostos — um sobe de Q4 por luxo de folga, o outro desce a Q2 por necessidade de caber. O quant certo nunca é uma constante: é a saída do algoritmo para aquele modelo naquele Mac.
Fixe os conceitos (flashcards)
Clique pra virar. Tente lembrar a resposta antes de virar — recuperação ativa fixa mais que reler.
Curva
Onde fica o "penhasco" da qualidade?
clique pra virar ↻
Resposta
Logo abaixo de Q4. De FP16 a Q4 a perda é quase nula; abaixo de Q4 cada bit custa muito mais — Q3/Q2 são último recurso.
Ordem
O que quebra PRIMEIRO ao apertar bits?
clique pra virar ↻
Resposta
Math → raciocínio → código → JSON → tool-use. Prosa resiste por último — por isso "parece bom" engana.
DS4
Por que o Q2 assimétrico chama tools bem?
clique pra virar ↻
Resposta
Só os experts roteados (a maioria dos bytes) vão a 2 bits; shared experts, projeções e roteamento ficam em Q8. A decisão de QUAL expert fica intacta.
Default
Tem folga e roda um agente — qual quant?
clique pra virar ↻
Resposta
Q4 como default; com folga, suba para Q6/Q8 (blinda math/código/tool-use). Plano B do DS4: q2-q4-imatrix (98 GB).
Revisão cumulativa — recupere de memória
Antes de clicar: tente responder de cabeça. Recuperar da memória (não reler) é o que fixa de verdade. As opções têm o mesmo tamanho de propósito — sem pista pela forma.
1. Conforme você aperta a quantização, qual capacidade tende a degradar PRIMEIRO?
Correto: b. Prosa fluida resiste muito (por isso "parece bom" engana); a falha real aparece primeiro em math, raciocínio, código, schema e tool-use. Velocidade e footprint são governados pelo tamanho/banda (Lições 02 e 03), não pela degradação de qualidade.
2. Por que a receita assimétrica deixa um Q2 chamar ferramentas de forma confiável?
Correto: c. Comprimir os experts (imensos e redundantes) rende quase toda a economia; manter as partes pequenas que orquestram (shared, projeções, roteamento) em Q8 custa pouco espaço e salva a inteligência. Some a isso um modelo que "resiste muito bem a 2 bits". O KV cache é um botão separado (seção 03).
3. Você precisa rodar um agente de código local e tem folga de memória. Qual quant?
Correto: a. Q4 é o ponto-doce (¼ do tamanho, qualidade quase plena); com folga, Q6/Q8 dão margem extra sem o penhasco. b falha: Q2 ingênuo quebra justo math/código/tool-use — o que um agente mais precisa, e "menor arquivo" não compensa um agente que erra. c falha: FP16 raramente vale o custo de memória para inferência local e não traz ganho perceptível sobre Q6/Q8. d falha: a qualidade muda muito entre os formatos — é a tese inteira da lição (o penhasco).
4. (Revisão — Lição 02 + esta) Por que o GGUF q2 real do DS4 dá 81 GB e não os ~71 GB da fórmula?
Correto: d. A receita assimétrica deixa as partes que decidem em Q8; esse "a mais" é a diferença entre a conta limpa (71) e o arquivo real (81) — o preço barato que salva o tool-use. a falha: a fórmula dá a ordem de grandeza certa; o extra é engenharia, não erro. b falha: KV cache é um botão separado e mora na RAM em runtime, não no arquivo. c falha: não existe inflação automática do SO — o tamanho vem das escolhas de quantização por camada.
💬 Travou em algo? Eu sou seu professor neste curso — pergunte. "Por que 8 bits e não 4 nas camadas críticas do DS4?", "Como meço se o meu Q2 está degradando math na prática?", "Quando vale o q2-q4-imatrix de 98 GB em vez do q2 de 81?". É só dizer.