antonio leandro

comentarioiaen

Sebastian Raschka

Engenheiro de machine learning e autor de livros didáticos sobre LLMs; na newsletter Ahead of AI publica, cerca de uma vez por mês, dissecações técnicas de modelos open-weight, quase sempre acompanhadas de código que roda.

20 textos no acervo · publica a cada ~25 dias · último em

escrito por pipeline de llm, revisado por antonio leandro antes de publicar

o que esta fonte defende

A tese que atravessa quase todo o arquivo é uma só: o progresso em LLMs é muito mais incremental do que o discurso público sugere, e a arquitetura é a parte que menos mudou. Raschka volta a isso de várias direções — comparando GPT-2 com gpt-oss, alinhando dez modelos abertos lançados no mesmo trimestre, seguindo o DeepSeek da V3 à V3.2. A conclusão que ele repete é que os blocos continuam reconhecíveis e que o que se mexe são detalhes de eficiência: variantes de atenção, mistura de especialistas, onde entra a normalização, como se codifica posição. Os ganhos de capacidade, na leitura dele, vêm de dados, de treino e de escala — não de invenção arquitetural. É uma posição deflacionária, sustentada com tabelas em vez de adjetivos.

A segunda posição recorrente é metodológica e talvez seja o que dá identidade à fonte: entender um modelo é reimplementá-lo. Ele reescreve o Qwen3 do zero, publica o próprio fluxo de leitura de um release novo, constrói um detector de texto de IA do dataset ao deploy. O pressuposto — nunca defendido como filosofia, sempre demonstrado — é que ler o paper não basta e que o código mínimo que roda é a única prova de compreensão. Isso também explica o formato: os textos são longos, com diagramas e trechos executáveis, mais próximos de capítulo de livro do que de comentário.

Onde o arquivo muda de ideia é no recorte do que merece atenção. Em 2025 o eixo é arquitetura pura e o resto aparece como contexto. Ao longo de 2026 o foco desliza para o que acontece depois do pré-treino — inference-time scaling, RLVR, controle de esforço de raciocínio como parâmetro ajustável — e depois para o uso prático: componentes de um agente de código, harnesses locais, o que dá para trocar por uma assinatura fechada. A postura sobre modelos abertos endurece junto: passam de objeto de estudo a alternativa que ele recomenda de fato. E os dois textos mais recentes abrem um assunto que não existia no arquivo antes, o de proveniência de texto gerado — detecção, marca d’água, e como remover a marca d’água.

O que essa página não cobre convém dizer: não há política de IA, não há mercado, não há discussão de risco social nem de produto. É engenharia e pedagogia. Parte do material vai para assinantes pagos, e o próprio autor sinaliza isso. Para quem quer saber por que um modelo funciona, o acervo é denso; para quem quer saber o que ele significa, não é o lugar.

por tema

a anatomia dos modelos abertos (7 textos)

O maior bloco do arquivo é uma série contínua de dissecações comparadas. Raschka pega os pesos abertos que saíram no período, alinha as escolhas de projeto lado a lado e mostra o que cada equipe decidiu diferente: tipo de atenção, uso de mistura de especialistas, posição das camadas de normalização, estratégia para contexto longo. Aparecem aqui as comparações amplas — DeepSeek-V3 a Kimi K2, GPT-2 contra gpt-oss, dez lançamentos de um trimestre — e os mergulhos em uma linhagem só, como a evolução do DeepSeek até a V3.2 com atenção esparsa.

O fio condutor é a economia de contexto longo: compartilhamento de cache KV, atenção comprimida, híbridos com atenção linear, difusão de texto e transformers recursivos pequenos entram na conversa como respostas ao mesmo problema de custo. É também o material em que a tese deflacionária fica mais visível, porque as tabelas mostram convergência entre modelos que a imprensa trata como rupturas.

implementar do zero como método (3 textos)

Uma linha separada do arquivo trata a reimplementação como forma de aprender, não como exercício. O caso mais completo é o Qwen3 reescrito peça por peça, mas o mesmo impulso aparece no texto em que ele descreve o próprio fluxo de trabalho diante de um modelo recém-lançado — o que ler primeiro, o que testar, em que ordem — e no projeto de ponta a ponta que constrói um detector de texto gerado por IA, da montagem do dataset ao treino, ao deploy local e ao ajuste com RLVR.

São os textos mais úteis para quem quer replicar em vez de acompanhar. Também são os que revelam a posição implícita da fonte sobre conhecimento técnico: o que não se consegue implementar em pequena escala, não se entendeu.

raciocínio como parâmetro ajustável (3 textos)

A partir do fim de 2025 o arquivo passa a tratar raciocínio não como propriedade emergente do modelo, mas como algo que se liga, se dosa e se paga. Um texto organiza as categorias de inference-time scaling — as diferentes maneiras de gastar mais computação na hora da resposta para obter respostas melhores — e resenha os trabalhos recentes de cada categoria. Outro, mais tarde, examina como modelos aprendem modos de esforço baixo, médio e alto, e o que muda no treino para que esse botão exista.

O balanço de 2025 amarra essa linha ao resto: RLVR, benchmarks, arquitetura e as previsões dele para o ano seguinte aparecem no mesmo texto, que funciona como o mapa mais legível do acervo para quem chega agora.

agentes de código sem assinatura (2 textos)

Dois textos de 2026 formam a virada mais prática do arquivo. O primeiro decompõe um agente de código em partes nomeáveis — ferramentas, memória, como o repositório entra no contexto — e argumenta que é essa engenharia em volta, e não o modelo sozinho, que faz o sistema funcionar. O segundo leva a consequência até o fim: rodar modelos de pesos abertos em harnesses locais como substituto das assinaturas de Claude Code e Codex, com o que se ganha e o que se perde.

É o ponto do acervo em que a preferência por modelos abertos deixa de ser interesse de estudo e vira recomendação de uso.

medir e detectar (2 textos)

Avaliação aparece cedo, num texto que separa quatro abordagens — benchmarks de múltipla escolha, verificadores, leaderboards e modelos usados como juízes — cada uma com exemplo de código e com as limitações ditas na cara. É a peça que sustenta as comparações de arquitetura, porque estabelece o que os números que ele cita significam e o que não significam.

O assunto reaparece transformado no material mais recente: uma exposição longa, em vídeo, de como funciona a marca d’água em texto gerado pela Claude — a amostragem de tokens que a produz, os métodos de detecção e também como ela pode ser removida. É a única incursão do arquivo em proveniência e verificação de origem, e vale notar que ele documenta os dois lados do mecanismo.

listas de papers como serviço (3 textos)

Três vezes por ano, aproximadamente, a fonte publica uma coletânea comentada dos artigos de pesquisa que leu no semestre, organizada por assunto em vez de cronologia — mais de duzentos itens na edição de meio de 2025, com atualizações para o segundo semestre e para os primeiros cinco meses de 2026.

Esses textos não têm tese; são infraestrutura. Servem como ponto de entrada para quem quer rastrear um subtema específico e mostram, indiretamente, de onde vem o material das análises: a curadoria antecede o comentário.

onde ela discorda de outras fontes do acervo

Contraria de forma consistente o enquadramento que laboratórios e cobertura de imprensa dão a cada lançamento. Onde o anúncio fala em salto arquitetural, o arquivo dele mostra tabela de convergência: os modelos de 2026 continuam reconhecíveis a partir do GPT-2, e as diferenças estão em eficiência, não em concepção. A segunda discordância é prática — contra a premissa, corrente entre quem escreve sobre agentes de código, de que é preciso um modelo de fronteira fechado para o trabalho valer, ele sustenta que pesos abertos em harness local já cobrem boa parte do caso de uso.

linha do tempo