antonio leandro

comentarioiaen

Lil'Log (Lilian Weng)

Blog pessoal de Lilian Weng, pesquisadora que liderou sistemas de segurança na OpenAI: surveys longos e matemáticos de machine learning desde 2017, que viraram referência padrão para quem quer entrar num subcampo sem ler cem papers.

53 textos no acervo · publica a cada ~77 dias · último em

escrito por pipeline de llm, revisado por antonio leandro antes de publicar

o que esta fonte defende

Os 53 textos não formam uma tese argumentativa única, e é importante dizer isso de saída: o Lil’Log é um blog de survey, não de opinião. O que se repete não é uma posição sobre o mundo, é um método. Weng escolhe um subcampo, lê a literatura inteira, reescreve toda a notação matemática dos papers num sistema único e publica um texto de vinte mil palavras que substitui a leitura de dezenas de artigos. O efeito colateral disso é uma autoridade curiosa: vários desses posts — “What are Diffusion Models?”, “Attention? Attention!”, “Policy Gradient Algorithms” — viraram, na prática, a introdução canônica dos seus temas, citada em papers e em ementas de curso. A tese implícita é que a síntese cuidadosa é uma contribuição científica legítima, e não jornalismo de segunda mão.

Há, porém, uma posição substantiva que atravessa o arquivo inteiro, e ela fica visível quando se olha o que ela escolhe estudar. Weng se interessa por como os sistemas falham, não por como eles funcionam. Reward hacking, alucinação, ataques adversariais, toxicidade, overfitting, o abismo entre simulador e mundo real: são todos textos sobre a distância entre o objetivo que você especificou e o comportamento que você obteve. A explicação que ela oferece é sempre a mesma, e é deflacionária — o mau comportamento não é mistério nem emergência, é consequência previsível de uma função objetivo mal especificada somada a dados imperfeitos. Em “Reward Hacking in Reinforcement Learning” (2024) ela trata o problema como um caso de especificação, não de intenção da máquina; em “Extrinsic Hallucinations in LLMs” (2024) ela estreita deliberadamente o termo “alucinação” para o caso de conteúdo fabricado contra fatos verificáveis, recusando o uso frouxo que virou sinônimo de “erro”. Essa recusa de vocabulário inflado é o traço mais consistente da fonte.

Onde ela mudou de ideia: os dois textos mais recentes são de um gênero diferente do resto do arquivo. “Scaling Laws, Carefully” (2026) argumenta, em vez de catalogar — o ponto é que as leis de escala são ajustes empíricos sensíveis ao setup experimental, não leis no sentido físico, e extrapolá-las é uma aposta e não uma dedução. E “Harness Engineering for Self-Improvement” (2026) desloca o objeto de estudo do modelo para o andaime em volta dele: a auto-melhoria recursiva, aquele conceito que vem de I. J. Good nos anos 1960, é reformulada como engenharia de harness — ferramentas, avaliação, loop de execução. Isso contraria, de forma discreta, o enquadramento do próprio post dela de 2023 sobre agentes autônomos, onde o LLM é o “controlador central” e planejamento, memória e ferramentas são módulos pendurados nele. Três anos depois, o que importa é o inverso: o modelo é uma peça, o sistema em volta é onde a alavanca está.

Uma nota prática sobre como ler este arquivo. Muitos posts são documentos vivos, revisados por anos — o de difusão tem atualizações de 2021 a 2024, o da família Transformer foi reescrito inteiro três anos depois e ganhou um sucessor. A data de publicação, portanto, informa pouco sobre o conteúdo atual. E a cadência despencou: entre 2017 e 2024 era um texto a cada dois ou três meses; depois vieram intervalos de sete e treze meses, com apenas três posts desde o fim de 2024. Seguir esta fonte é esperar pouco e ler muito quando chega.

por tema

agentes, raciocínio e o harness (4 textos)

É o núcleo mais recente e o mais citado fora do meio acadêmico. O post de 2023 sobre agentes autônomos com LLM propôs a decomposição que virou padrão de mercado — planejamento, memória, uso de ferramentas — e é provavelmente o texto mais influente do blog; o de prompt engineering, do mesmo ano, trata a área como ciência empírica cujos resultados não transferem entre modelos, um aviso que envelheceu bem.

Os dois textos posteriores mudam de posição. “Why We Think” (2025) organiza a literatura de test-time compute e chain-of-thought em torno da ideia de gastar computação no momento da inferência em vez de no treino. E “Harness Engineering” (2026) tira o modelo do centro: se o ganho vem do andaime — ferramentas, avaliação, o loop que executa —, então a engenharia do harness é onde está o trabalho, não no controlador. É a autocorreção mais clara do arquivo.

o que dá errado: alucinação, reward hacking, jailbreak (5 textos)

O bloco escrito enquanto Weng liderava segurança na OpenAI, e o mais próximo de uma posição autoral. “Reward Hacking in Reinforcement Learning” trata a exploração de brechas na função de recompensa como consequência estrutural de ambientes imperfeitos, não como esperteza da máquina. “Extrinsic Hallucinations in LLMs” começa estreitando o termo: alucinação, para ela, é conteúdo fabricado que contradiz fatos verificáveis — não qualquer erro do modelo.

O survey de ataques adversariais a LLMs (2023) cataloga jailbreaks assumindo abertamente que o alinhamento por RLHF não é suficiente, e os textos anteriores sobre toxicidade e geração controlável mostram que a preocupação é antiga, de quando o problema ainda se chamava “reduzir toxicidade em modelos de linguagem”. O fio que une os quatro: o comportamento indesejado é sempre um sintoma de especificação incompleta.

escala, arquitetura e a conta da inferência (10 textos)

“Attention? Attention!” (2018) foi escrito antes de o Transformer ser óbvio, e a família Transformer ganhou duas versões — a de 2020 e a reescrita completa de 2023 —, o que dá uma medida de quanto a arquitetura se mexeu no intervalo. Ao lado deles ficam os textos de engenharia pesada: como treinar modelos gigantes distribuídos em muitas GPUs, e como baratear a inferência de transformers grandes via quantização, esparsidade e destilação. Esse último é sintomático de uma virada de prioridade do campo, quando o custo de rodar passou a pesar mais que o de treinar.

O grupo inclui também a parte teórica do arquivo, minoritária mas persistente: neural tangent kernel, a pergunta sobre por que redes absurdamente sobreparametrizadas não overfittam como a teoria clássica prevê, e o gargalo de informação de Tishby. “Scaling Laws, Carefully” (2026) fecha a linha com o argumento de que a reta no gráfico log-log é um achado empírico frágil, e não uma lei da natureza.

modelos generativos, de gan a difusão em vídeo (5 textos)

Uma sequência de cinco textos escritos ao longo de sete anos que funciona como história do campo em ordem de derrota: GAN e o problema de estabilidade que a Wasserstein tentou resolver, autoencoders e o beta-VAE, modelos de fluxo — cujo apelo era justamente calcular a densidade explicitamente, coisa que GAN e VAE não fazem — e enfim difusão.

“What are Diffusion Models?” (2021) é o post mais consultado do blog e continuou sendo atualizado por três anos, incorporando classifier-free guidance, latent diffusion e destilação progressiva conforme apareciam. O de 2024 sobre geração de vídeo estende a mesma máquina para o caso mais difícil, onde é preciso manter coerência temporal entre quadros — e é o último texto do arquivo sobre visão.

reinforcement learning, do bandit ao meta-rl (10 textos)

A área de origem dela e a mais coberta do arquivo. A entrada é didática — o problema do bandido multi-armado como forma de apresentar o dilema entre explorar e explorar-o-que-já-se-sabe — e sobe até políticas de gradiente, um survey que virou referência de bolso para a alfabeta de siglas do campo, e uma implementação em TensorFlow com código no GitHub.

Os textos mais interessantes do bloco são os que tratam do que falta ao RL padrão: estratégias de exploração quando a recompensa é rara, currículos que ordenam tarefas por dificuldade, meta-aprendizado e meta-RL para agentes que resolvem tarefas inéditas rápido, randomização de domínio para atravessar o abismo entre simulador e robô real, e estratégias evolutivas como alternativa sem gradiente ao SGD. Todos são, no fundo, sobre o mesmo defeito: RL puro é caro em amostras e frágil fora da distribuição em que treinou.

dados: o gargalo que ninguém quer olhar (10 textos)

A trilogia “Learning with not Enough Data” (2021-2022) percorre as saídas para pouco dado rotulado: semi-supervisão, active learning com orçamento de anotação limitado, e geração de dados sintéticos por aumento ou por modelo. O fecho é “Thinking about High-Quality Human Data” (2024), o texto mais incomum do arquivo — trata anotadores humanos como sujeitos com desacordo legítimo, não como fonte de ruído a ser filtrada, e vai buscar um artigo da Nature de mais de cem anos sobre sabedoria das multidões para fazer o ponto. É o texto mais próximo de uma crítica social que ela escreveu.

O grupo reúne ainda a linha de representação: aprendizado contrastivo, auto-supervisão, word embeddings, a família de modelos de linguagem pré-treinados de ELMo a GPT-3 e T5, modelos visão-linguagem e sistemas de perguntas e respostas de domínio aberto. Junto, é o argumento tácito de que o que o modelo aprende depende menos da arquitetura do que da natureza do sinal que você deu a ele.

os primeiros posts: visão e aprender em público (9 textos)

O começo do blog, em 2017, é de outra pessoa: tutoriais de previsão de preço de ações com RNN em TensorFlow, uma visão geral de deep learning tirada de uma palestra, um texto sobre interpretabilidade motivado por regulação e uso em saúde e justiça. A série “Object Detection for Dummies”, em quatro partes, começa com vetores de gradiente e HOG e termina em YOLO, SSD e RetinaNet — e Weng abre a série admitindo que nunca trabalhou com visão computacional e está escrevendo para se obrigar a entender a matemática.

Essa é a chave para ler o arquivo inteiro: os surveys que hoje têm cara de autoridade nasceram de um hábito de estudar em público e publicar as anotações. O feed também traz uma página de FAQ com data de placeholder, que não é um texto e pode ser ignorada.

onde ela discorda de outras fontes do acervo

A discordância mais nítida é com ela mesma, e vale mais que qualquer comparação externa: o post de 2023 sobre agentes coloca o LLM como controlador central com módulos acoplados, e o de 2026 sobre harness engineering argumenta que a alavanca está no andaime em volta, não no modelo. Contra a leitura maximalista das leis de escala — comum entre quem trata a curva como garantia de progresso futuro —, “Scaling Laws, Carefully” sustenta que são ajustes empíricos dependentes do setup, e que extrapolar é aposta. E contra o uso corrente de “alucinação” como sinônimo de erro, ela insiste numa definição estreita: só conta o que é fabricado contra fato verificável.

linha do tempo