Cartão de referência · consulte rápido
Memória de LLM — cheat sheet
A essência comprimida da Lição 02. Para consulta rápida (e impressão). Todos os números: Ahmad Osman + GGUF real do DS4.
A fórmula
VRAM (GB) ≈ params (B) × bits ÷ 8
Ex.: 284 B × 2 ÷ 8 = 71 GB (napkin) · arquivo real q2 = 81 GB.
Escada de quantização (GB por 1 B de params)
| Formato | Bits | GB/1B | Nota |
|---|---|---|---|
| FP16/BF16 | 16 | 2.00 | treino/referência |
| FP8 | 8 | 1.00 | quase sem perda |
| Q6_K | ~6 | 0.82 | ≈ indistinguível |
| Q4_K | ~4 | 0.56 | sweet spot |
| Q2_K | ~2 | 0.33 | só p/ caber gigante |
Cabe em 128 GB? (pesos, pela fórmula)
| Modelo | FP16 | Q8 | Q4 | Q2 |
|---|---|---|---|---|
| 7 B | ✓ 14 | ✓ 7 | ✓ 4 | ✓ 2 |
| 70 B | ✗ 140 | ✓ 70 | ✓ 39 | ✓ 23 |
| 180 B | ✗ 360 | ✗ 180 | ✓ 101 | ✓ 59 |
| 284 B | ✗ 568 | ✗ 284 | ✗ 159 | ✓ 81* |
| 671 B | ✗ 1342 | ✗ 671 | ✗ 376 | ✗ 221 |
*284 B@Q2 = 81 GB reais (não 94 da fórmula) graças à quant assimétrica do DS4. Lembre-se de somar KV+SO e deixar folga.
Regras de ouro
• Folga 10–20%: teto seguro ≈ 102 GB em 128 GB (pesos + KV + SO).
• Menor+preciso > maior+esmagado (7B@Q6 costuma vencer 13B@Q2).
• Quant assimétrica: experts→2 bits, atenção/roteamento→Q8 (o truque do DS4).
• Segurança: prefira GGUF/safetensors; evite .bin/pickle de fonte não-confiável.