Visão (Qwen3-VL)

Dar olhos ao modelo local é tentador — e cheio de armadilhas. Imagem vira token, o encoder de visão come memória, e um VLM pequeno pode entrar em loop e cuspir !!!! para sempre. Esta lição conta a história real desta sessão: como o Qwen3-VL-30B-A3B virou o default do @alembic/vision, e como um único parâmetro de amostragem levou a descrição do corpus de 44% para 99% das imagens.

01 · O custo escondido: imagem também vira token

A intuição traiçoeira da visão é achar que "uma imagem é só um anexo". Não é. No pipeline de um VLM, a imagem é fatiada em patches, cada patch passa pelo encoder de visão (um ViT + uma projeção), e o resultado entra na janela de contexto como tokens — exatamente os mesmos tokens que o texto consome. Um único print em alta resolução pode custar milhares deles. E o encoder, além disso, é peso de modelo extra carregado na RAM. Resolução, portanto, é um botão de custo — não um "quanto maior, melhor".

Entrada não-textual também vira token. Encoders de visão adicionam memória. Patches de imagem consomem contexto. Uma única imagem em alta resolução pode consumir milhares de tokens.— Ahmad Osman, "LLMs 101 (2026)"

01b · O pipeline de um VLM, caixa por caixa

Vale abrir o que acontece dentro do modelo quando uma imagem entra. Um VLM não "vê" pixels: ele os converte em tokens que o mesmo LLM de texto já sabe processar. São cinco estágios, e cada seta é um ponto onde o custo (tokens, RAM) ou a qualidade pode mudar. Repare na decisão no meio — é onde a resolução é escolhida, e onde a Lição inteira de custo começa.

01c · Calculadora: resolução → tokens → contexto

Agora torne o custo tangível. A regra de bolso de um ViT: ele fatia a imagem em patches de lado fixo (tipicamente 14×14 px) e cada patch vira um token visual. Então o número de tokens cresce com a área — dobrar o lado quadruplica o custo. Antes de mexer no slider, faça uma aposta:

Aqui está a conta exata, número por número — depois é sua vez no slider:

Arraste a resolução (aqui de uma imagem quadrada, lado × lado — por isso a 2048 px dá ~21k, um pouco mais que o print 4:3 acima de 2048×1536). A conta de tokens e a fatia de VRAM do encoder são recalculadas, e a barra de contexto é redesenhada em escala — verde = folgado, vermelho = engole o contexto:

02 · O bug do '!!!!' — e por que era amostragem, não o modelo

Aqui está o coração da sessão. Ao rodar o Qwen3-VL no corpus, uma fração grande das imagens não produzia descrição: o modelo entrava num loop e repetia o mesmo caractere — !!!!!!!!… — até esgotar os tokens. O reflexo é culpar o modelo ("é pequeno demais, alucina"). Estava errado. Era degeneração por repetição: um modo de falha clássico da amostragem, em que um token de alta probabilidade se realimenta e trava a geração. A cura não é trocar de modelo — é mexer no parâmetro certo.

A primeira tentativa foi só subir a temperatura (temperature=0.5). Isso ajudou, mas parcialmente: levou a descrição a apenas ~44% das imagens. Temperatura "espalha" a distribuição, mas não penaliza repetir o que já saiu — então o loop de ! ainda escapava em mais da metade dos casos. O que matou o bug foi o repetition_penalty=1.3: ele reduz a probabilidade de tokens já emitidos, quebrando exatamente a realimentação que cria o loop.

Clique nas três configurações de amostragem e veja o que cada uma produz nas imagens-problema:

Por que temperatura sozinha não basta

As duas alavancas atacam coisas diferentes. Temperatura achata a curva de probabilidade — torna tokens menos prováveis um pouco mais possíveis, adicionando variedade. Mas se o token ! ainda é o mais provável depois de já ter saído dez vezes, a temperatura sozinha continua deixando ele vencer. repetition_penalty ataca a causa: multiplica para baixo o score de qualquer token que já apareceu, então a cada ! emitido o próximo ! fica menos provável — e o loop morre.

O loop de !!!! é degeneração por repetição — um modo de falha da amostragem, não do modelo. Curou com repetition_penalty, não com temperatura.— Achado desta sessão (corpus de visão, M5 Max)

02b · Anatomia: como o loop se forma — e como cada alavanca o ataca

Para ver por que a penalidade cura e a temperatura não, dá para olhar a distribuição de probabilidade no momento de escolher o próximo token. A cada passo o modelo produz uma curva sobre o vocabulário; a amostragem escolhe um token dessa curva. O bug nasce quando um token (!) fica tão dominante que se escolhe a si mesmo para sempre.

E o loop em si é um ciclo de realimentação. Veja-o como fluxograma — e exatamente onde cada alavanca corta o ciclo:

03 · 44% → 99%: a prova no corpus inteiro

Disciplina do loop-engineering: nada é "consertado" sem prova na fronteira real. A prova aqui foi rodar o pass de visão sobre todas as imagens do corpus e contar quantas saíram com descrição de verdade. Com a temperatura sozinha, ~44%. Com repetition_penalty=1.3, 3729 de 3747 imagens descritas — 99%. As 18 restantes (~1%) são casos genuinamente difíceis, não o loop.

O salto de 44% para 99% não veio de um modelo maior, de mais RAM ou de mais resolução. Veio de um número — repetition_penalty=1.3 — aplicado depois de diagnosticar o modo de falha correto. É a lição central da sessão: diagnostique a causa (degeneração de amostragem) antes de trocar a ferramenta (o modelo).

03b · A cura, passo a passo (o método, não só o número)

O salto de 44% para 99% não foi sorte — foi o método do loop-engineering aplicado a um bug de amostragem. Vale destrinchar a sequência, porque ela se repete para qualquer falha de geração, não só para visão:

04 · Por que o MoE de poucos ativos venceu o denso gigante

Antes de virar o default, o Qwen3-VL competiu contra outros VLMs nas mesmas imagens reais do corpus, no mesmo Mac. Ele venceu por ser, ao mesmo tempo, o mais rápido e o mais preciso — e a razão repete a física da Lição 04: contam os parâmetros ativos, não os totais. O Qwen3-VL tem 30B no disco mas só ~3B ativos por token (MoE), então gera a 110–122 tok/s em ~19,5 GB. O Qwen2.5-VL-72B é denso: cada token paga os 72B inteiros — 11 tok/s e 43,9 GB, e ainda errou um ícone que o MoE leu certo.

A tabela completa do benchmark

Quatro candidatos, as mesmas imagens reais do corpus, o mesmo M5 Max. O vencedor não foi o maior — foi o que casou velocidade, footprint pequeno e leitura correta do texto dentro da imagem:

Como rodar o vencedor — é um modelo MLX, servido pela CLI mlx_vlm:

mlx_vlm.generate --model mlx-community/Qwen3-VL-30B-A3B-Instruct-4bit --image foto.png --temperature 0.5 --repetition-penalty 1.3— invocação típica do pass de visão (os dois flags que importam vêm da seção 02)

04b · O comparativo estendido — e como escolher por critério

A tabela do benchmark acima mediu velocidade, RAM e acurácia. Mas a escolha real depende de qual eixo você prioriza. Esta segunda tabela põe os quatro VLMs contra os critérios de decisão — tipo, parâmetros ativos, multimodalidade e papel no setup. Os campos medidos vêm desta sessão; o que não foi verificado está marcado [uncertain], nunca inventado:

As mesmas quatro opções, plotadas no plano que realmente importa para rodar local: RAM (eixo X) × velocidade (eixo Y). O canto bom é "rápido e leve":

05 · Co-residência: DS4 + Qwen3-VL não cabem juntos

Resta o problema de orçamento. O cérebro (DeepSeek-V4-Flash q2) ocupa ~81 GB. A visão (Qwen3-VL) ocupa ~20 GB. Somados, são ~101 GB de pesos — e isso ignora KV cache, ativações e o macOS. Tentar manter os dois residentes ao mesmo tempo encosta no teto de 128 GB e dispara page faults: o SO começa a paginar memória para o disco e a performance despenca (ou estoura em OOM). A regra é dura: DS4 e Qwen3-VL não co-residem — eles rodam em passes sequenciais.

Alterne entre tentar co-residir e o modo sequencial e veja a RAM:

Na prática: o pass de visão descreve as imagens com o DeepSeek descarregado; depois o cérebro volta para o trabalho de texto. Você paga alguns segundos de reload por troca e ganha estabilidade total — em nenhum momento a RAM cruza o teto, porque o cérebro e a visão nunca estão grandes ao mesmo tempo. É o mesmo princípio de orçamento da Lição 08, aplicado à visão.

Fixe os conceitos (flashcards)

Clique pra virar. Tente lembrar a resposta antes de virar — recuperação ativa fixa mais que reler. Estes quatro fecham a lição inteira: