antonio leandro

comentarioiaen

Eugene Yan

Applied scientist na Amazon, ex-VP de dados na Lazada (Alibaba); escreve em eugeneyan.com desde 2017 sobre recsys, busca, sistemas com LLM e o ofício de fazer ML funcionar em produção. Está no acervo como a referência prática de avaliação antes de modelo.

200 textos no acervo · publica a cada ~21 dias · último em

escrito por pipeline de llm, revisado por antonio leandro antes de publicar

o que esta fonte defende

Se há uma tese que atravessa quase duzentos textos em nove anos, é esta: o modelo quase nunca é o gargalo. Yan volta obsessivamente ao mesmo argumento por caminhos diferentes — comece sem machine learning e só adicione inteligência quando a heurística falhar; construa a baseline antes da arquitetura nova; desconfie de complexidade, porque ela vende melhor do que funciona mas entrega pior. Ele chega a nomear isso diretamente num texto de 2022 sobre simplicidade ser vantagem e complexidade ser produto comercial. O corolário é organizacional, não técnico: o que trava um projeto é rótulo mal definido, processo sem mecanismo, time que não consegue explicar o que fez. Daí a insistência em design doc, revisão de metodologia, timeboxing, relato semanal de quinze minutos — rituais baratos que ele trata como infraestrutura de engenharia.

A espinha do arquivo é a avaliação, e ela tem uma linhagem clara. Começa em 2021-2023 no mundo clássico — como escrever diretrizes de anotação, como arrancar rótulos do nada com supervisão fraca, como medir sumarização e detectar alucinação — e migra inteira para LLM sem trocar de premissa. Em 2024 ele constrói o AlignEval, um app cujo primeiro passo é literalmente olhar e rotular os próprios dados, e escreve o levantamento mais citado sobre a eficácia dos LLM-evaluators. Em 2025 vem a correção mais interessante do arquivo: num texto de abril ele argumenta que um LLM-as-judge não salva o produto, e que o que precisa ser consertado é o processo. Vindo de quem passou dois anos defendendo juízes automáticos, é uma limitação da própria posição, não um recuo — o juiz vira instrumento de um método científico maior, não o método. Em 2026 a mesma receita reaparece aplicada a segurança: um alvo em sandbox, entradas que controlam dificuldade, ferramentas e um grader.

Onde ele mudou de ideia de verdade: em recsys e em autonomia. De 2020 a 2022 o desenho que ele ensina é o canônico — offline e online, recuperação de candidatos e ranqueamento, bandits, avaliação contrafactual, viés de posição. Em 2024-2025 ele documenta a convergência entre recsys, busca e LLM até chegar, em setembro de 2025, a um híbrido que conversa em inglês e em IDs de item e recomenda sem recuperação e sem ferramentas — o oposto arquitetural do que ele defendia quatro anos antes, e ele diz isso. A segunda virada é sobre trabalhar com IA: em 2023 ele publicava que chat não deveria ser a UX principal e que dava para fazer melhor; em 2025 está automatizando fluxos agênticos com CLI, MCP e tmux; em maio de 2026 escreve o texto mais programático da série, tratando contexto como infraestrutura, gosto como configuração e verificação como condição para dar autonomia à máquina. A ponte entre o cético de 2023 e o delegador de 2026 é exatamente a avaliação: ele só entrega autonomia depois de saber medir. Há ainda uma virada de carreira que o arquivo registra sem alarde — de VP de data science na Lazada em 2017-2018 para IC sênior na Amazon, com um texto de 2025 dirigido a quem vira principal técnico.

Duas honestidades sobre o conjunto. Primeira: mais ou menos metade do arquivo não é técnica. São textos sobre escrever, contratar, sobreviver à síndrome do impostor, revisões de disciplinas do mestrado da Georgia Tech, retrospectivas de ano, uma história curta sobre adagas voadoras. Quem chega esperando só engenharia vai achar que a fonte se dispersa; a leitura mais justa é que ele trata carreira e escrita como problemas de engenharia, com o mesmo vocabulário de mecanismo e iteração. Segunda: ele não comenta a indústria. Em nove anos praticamente não há previsão sobre AGI, política de IA, movimento de laboratório ou disputa entre empresas. O ponto de vista é sempre o de quem tem um sistema em produção na segunda-feira, e é isso que faz o material envelhecer bem — e também o que ele não serve.

por tema

evals antes do modelo (12 textos)

É o eixo mais forte e mais contínuo do arquivo. A sequência começa em diretrizes de anotação e bootstrap de rótulos — como conseguir dados etiquetados quando não existe nenhum, como calcular recall quando você não sabe quais documentos são relevantes — e chega a receitas fechadas para avaliar sumarização, tradução, classificação, alucinação e sistemas de pergunta e resposta com contexto longo. A regra que ele repete: métrica genérica de benchmark não diz nada sobre a sua tarefa; alinhe um avaliador aos seus próprios rótulos e rode o harness a cada mudança.

O subconjunto sobre LLM-as-judge é o mais consultado e o mais tenso. Em 2024 ele levanta técnicas, alinhamento, finetuning e também as críticas contra juízes automáticos, e constrói o AlignEval — um app cujo primeiro passo é olhar e rotular os dados na mão. Em 2025 ele mesmo puxa o freio: o juiz não conserta o produto, o processo conserta. Em 2026 a mesma estrutura reaparece em avaliação de cibersegurança, com alvo isolado, dificuldade controlada por entrada e um grader — sinal de que ele considera o método portátil para domínios novos.

recsys e busca como um sistema só (23 textos)

A área em que ele tem mais quilometragem industrial. O desenho canônico que ele ensinou por anos separa ambiente offline e online e divide o problema em recuperação de candidatos e ranqueamento — arquitetura que ele detalha com exemplos de empresas chinesas e americanas, sempre com uma versão mínima viável no fim. Em volta disso vem o repertório completo: bandits, aprendizado por reforço para recompensa de longo prazo, correspondência de consulta por métodos léxicos, de grafo e de embedding, e as armadilhas de medição — viés de posição, avaliação contrafactual, ponderação por propensão inversa, e a defesa incômoda de que acurácia sozinha produz recomendação chata (daí a insistência em diversidade, novidade e serendipidade).

A partir de 2024 o eixo vira. Ele passa a documentar a convergência entre recsys, busca e modelos de linguagem — IDs semânticos, aumento de dados sintéticos, modelos de fundação unificados — e em 2025 treina um híbrido que conversa em inglês e em IDs de item e recomenda sem recuperação e sem ferramentas. Vale ler junto com os textos de 2020-2021 para ver o tamanho da mudança de posição.

o que quebra depois do deploy (23 textos)

O bloco mais útil para quem opera. A premissa é que o modelo em produção é a parte fácil: o difícil é manter vários deles vivos ao longo de meses. Ele cataloga os problemas que só aparecem depois — deriva, dependências de dados, pipelines que dão resultado diferente na segunda execução — e propõe hábitos de acompanhamento pós-projeto para que o resultado seja reproduzível. Há também um conjunto de padrões de projeto tratados como vocabulário: humano no circuito, mineração de exemplos difíceis, reenquadramento do problema, cascata de heurísticas e modelos, camada de regras de negócio, volante de dados.

A parte sobre teste é a mais opinativa e a que mais contraria a prática comum de software. Ele defende testar implementação, comportamento aprendido e desempenho como três coisas distintas, argumenta contra usar mock em modelos dentro de teste unitário e conclui, depois de se queimar, que escreveu testes de integração demais. Completam o eixo a hierarquia de necessidades de feature store — use só o nível de que você precisa — plataformas de descoberta de dados, e a defesa de que cientista de dados deveria ser mais ponta a ponta, com os contra-argumentos incluídos.

padrões para sistemas com llm (11 textos)

Em julho de 2023 ele publicou o texto que virou referência de vocabulário para a área: sete padrões para construir produtos com LLM — avaliação, geração aumentada por recuperação, finetuning, cache, guardrails, UX defensiva e coleta de feedback do usuário. O texto seguinte ensina a escolher entre eles, separando problemas com modelo externo e interno, com e sem dados próprios. O fundamento de prompting está num artigo de 2024 sobre entrada e saída estruturadas, prefill, poucos exemplos, cadeia de raciocínio e redução de alucinação, e o gargalo de anotação humana é atacado com dados sintéticos para ajuste por instrução e por preferência.

O documento coletivo mais influente é o retrospecto de um ano construindo com LLM, escrito com mais cinco autores e apresentado como keynote — dividido em tático, operacional e estratégico, com uma parte considerável dedicada a quando não usar LLM. Os textos de 2026 mostram para onde a linha vai: usar modelos para modelar ameaças, achar e corrigir vulnerabilidade em código, e um manifesto sobre trabalhar com IA em que contexto é infraestrutura, gosto é configuração e verificação é o que compra autonomia.

aprender fazendo e publicar as notas (43 textos)

Um terço do arquivo é ele aprendendo em público. Constrói um copiloto de escrita em cima do Obsidian que puxa dos próprios diários, um treinador pessoal por voz com telefone virtual, um clube de leitura com IA, uma versão do mesmo app em cinco frameworks web para comparar como assistentes de código enviesam a escolha da ferramenta, um Raspberry Pi que inventa manchetes. Faz LLMs escreverem biografias só para medir o quanto memorizam e regurgitam. Quando não constrói, explica: a intuição de query, key e value na atenção, autoencoders comparados a difusores, os fundamentos de texto para imagem. Nenhum desses textos tem pretensão de originalidade de pesquisa — a função é entender destruindo o brinquedo.

A mesma disposição aparece na forma como ele estuda: lista de papers fundamentais para começar um clube de leitura, um guia de como rodar esse clube toda semana, um argumento sobre por que ler papers deixa você mais eficaz, e a posição de que você não precisa de mais um MOOC — aprenda na hora da necessidade e saia do caminho feliz. As resenhas das disciplinas do mestrado a distância da Georgia Tech, escritas entre 2017 e 2020, são um serviço público sem glamour; junto com notas de conferência e migrações de site e setup de máquina, formam a camada mais utilitária do arquivo.

escrever é o método (14 textos)

Ele trata escrita como parte do trabalho técnico, não como divulgação. O framework que mais reaproveita é o porquê, o quê, como, aplicado a três documentos concretos — a página única, o documento de design e a revisão pós-ação. A defesa é direta: escrever é a forma barata de descobrir que você não entendeu o problema, e num ambiente onde documento circula mais que pessoa, é o que faz a ideia sobreviver sem você na sala.

O conselho para quem quer começar é deliberadamente antiperfeccionista — escreva antes de estar pronto, escreva para si mesmo, priorize quantidade sobre qualidade — e ele reconhece a contradição num texto sobre as regras paradoxais da escrita, em que várias das próprias recomendações se anulam. Há também o aparato de método: zettelkasten no lugar de notas soltas, escrita como ciclo de ler, anotar e produzir, e um FAQ de 2025 que responde como começou, para quem escreve e por quê. Vários desses textos são entrevistas ou posts convidados, o que dá contraponto a uma seção que poderia virar monólogo.

carreira, times e mecanismos (74 textos)

A metade menos técnica do arquivo, e a mais pessoal. O núcleo é a ideia de mecanismo: rituais que produzem o comportamento certo sem depender de disciplina individual — debrief de fim de semana, revisão semanal do negócio, sessão mensal de aprendizado, revisão trimestral, plano de cem dias para quem entra. A metáfora que ele mais empresta é a de comando, soldado e polícia, usada tanto para escolher entre ofertas de emprego quanto para descrever estilos de liderança. Sobre influência, a posição é que cientista de dados raramente tem autoridade formal: mostre o dado, use o método socrático, construa protótipo quando o roadmap e o documento de design falharem, e conquiste confiança antes de pedir.

O resto é a matéria bruta de uma carreira contada em tempo real, de graduado em psicologia a líder de dados na Lazada e depois a IC sênior na Amazon: como entrevistar e contratar, sinais de alerta ao entrar num time, o que fazer quando o time do qual você depende não ajuda, o descompasso entre título e função, agile e scrum adaptados a ciência de dados — primeiro criticados, depois defendidos. Atravessando tudo, a linha mais humana: dois textos sobre viver com síndrome do impostor crônica, a regra dos 85% contra o esforço máximo, a lei de Crocker para receber crítica dura, sete hábitos de uma década e as retrospectivas anuais que ele publica desde 2020.

onde ela discorda de outras fontes do acervo

Onde ele contraria o discurso dominante da indústria, contraria de dentro. Em abril de 2025 escreveu que um LLM-as-judge não salva o produto — um mês depois de o setor inteiro ter adotado juízes automáticos como atalho para não olhar dados; o alvo é a ideia de que dá para terceirizar avaliação para outro modelo e pular a etapa de rotular na mão. Em 2022, num texto sobre simplicidade, acusa diretamente o mercado de vender complexidade porque complexidade é mais fácil de vender, o que o coloca contra fornecedores de plataforma e contra o incentivo acadêmico à arquitetura nova. E em abril de 2023, quando chat virou a interface padrão de tudo, publicou que chat não deveria ser a UX principal de LLM — posição que ele próprio depois relativizou ao construir fluxos agênticos, mas que continua sendo a objeção mais bem formulada do arquivo contra o consenso de produto da época.

linha do tempo