antonio leandro

comentarioiaen

AI Snake Oil

Newsletter de Arvind Narayanan e Sayash Kapoor (Princeton), do livro AI Snake Oil e do paper "AI as Normal Technology". Está no acervo por ser o contrapeso metódico ao hype e ao apocalipse: exige medição e avaliação independente antes de aceitar qualquer demo.

20 textos no acervo · publica a cada ~23 dias · último em

escrito por pipeline de llm, revisado por antonio leandro antes de publicar

o que esta fonte defende

A tese recorrente do arquivo é uma só, e é sobre distância. Existe um vão largo entre o que um modelo consegue fazer numa demonstração e o que ele muda no mundo, e esse vão não é fechado por modelos melhores — é fechado (ou não) por instituições, regulação, seguro, responsabilidade civil, hábito profissional e infraestrutura. Daí o nome que a dupla acabou dando ao próprio projeto: inteligência artificial como tecnologia normal, no sentido de eletricidade ou internet — transformadora ao longo de décadas, difundida devagar, absorvida por setores que têm suas próprias travas. A consequência mais afiada dessa premissa é a recusa da ideia de limiar: não há um ponto de capacidade a partir do qual o impacto vira de chave. “AGI não é um marco”, escrevem em 2025, e o resto do arquivo é essencialmente a aplicação dessa frase a um setor por vez — serviços jurídicos, engenharia de software, pesquisa científica, empresa.

A segunda posição repetida é metodológica, e é o que separa a fonte de outros céticos: eles não descartam alegações, eles as reabrem. Quando um número viral aparece — um sistema operacional construído por agentes por 916 dólares, uma curva de progresso que estaria desacelerando, um aforismo consagrado como o paradoxo de Moravec — o movimento padrão é ir atrás da conta, do benchmark, do dado bruto, e mostrar onde a medição não sustenta a manchete. Desse hábito nasceu a distinção que a fonte mais contribuiu para o vocabulário do campo: capacidade não é confiabilidade. Um agente que acerta 90% das vezes numa tarefa longa não é 90% de um trabalhador; é um sistema cujo modo de falha ninguém sabe caracterizar. O paper sobre confiabilidade de agentes (2026) e o projeto CRUX, de avaliações em mundo aberto, são a tentativa de transformar essa objeção em instrumento de medida em vez de deixá-la como reclamação.

Há uma mudança visível ao longo do arquivo, e ela é de postura mais do que de opinião. Os textos de 2024 são auditoria: 78 deepfakes eleitorais que não sustentam o pânico com desinformação sintética, um algoritmo de fila de transplante hepático no Reino Unido cuja escolha técnica aparentemente banal penaliza pacientes jovens. São peças de desmascaramento, coerentes com um livro chamado “óleo de cobra”. A partir de meados de 2025 — com a troca explícita de marca da newsletter, anunciada em setembro daquele ano — o registro passa de negativo a construtivo: menos “isto não funciona”, mais “eis o arcabouço para saber o que funciona e em quanto tempo”. Junto com a virada vem uma admissão implícita de que a IA generativa e os agentes importam economicamente de um jeito que a IA preditiva dos primeiros textos não importava; a resposta não é negar isso, é deslocar a pergunta para onde o valor vai parar — e o texto sobre lock-in corporativo, de 2026, argumenta que quem discute só a capacidade dos modelos está olhando para o lugar errado enquanto o poder de mercado se acomoda na camada de cima.

O que a fonte não tem é uma teoria positiva de para onde isso vai. O arquivo é muito mais forte em desmontar previsões alheias do que em arriscar as próprias, e o texto mais próximo de um programa afirmativo — a keynote de 2026 sobre o que sobra para nós fazermos — é também o mais vago do conjunto. Quem procurar aqui um cronograma vai sair de mãos vazias, de propósito: a posição da casa é que cronogramas são o gênero errado.

por tema

ia como tecnologia normal (3 textos)

O núcleo teórico da fonte, e a razão de a newsletter ter mudado de nome. O argumento: tratar a IA como uma tecnologia de uso geral comum — comparável a eletricidade ou internet — em vez de como uma espécie nova. Isso implica que a difusão é lenta por razões que não têm nada a ver com capacidade técnica, e que o gargalo está em instituições, regulação e prática profissional. O paper de 2025 foi escrito para virar livro; o guia de setembro daquele ano é a porta de entrada mais direta para quem chega agora.

O corolário mais contestado é o de que não existe limiar. A ideia de AGI como marco — um ponto na curva a partir do qual os impactos chegam de repente — é rejeitada não por otimismo, mas por não haver mecanismo que explique como uma mudança contínua de capacidade produziria uma descontinuidade de efeito.

o folclore do progresso (2 textos)

Uma linha menor mas característica: pegar afirmações que circulam como consenso e verificar se elas sobrevivem ao dado. O paradoxo de Moravec — a ideia de que o difícil para humanos é fácil para máquinas e vice-versa — é tratado como nem verdadeiro nem útil, um aforismo que sobrevive por ser elegante e não por descrever o que os sistemas de fato acertam e erram.

O texto de 2024 sobre desaceleração faz o mesmo com a pergunta que dominou aquele ciclo, mostrando que “o progresso parou” e “o progresso é exponencial” costumam ser afirmações sobre benchmarks diferentes apresentadas como se fossem sobre a mesma coisa.

trabalho: por que a substituição não chega (4 textos)

A aplicação do arcabouço, setor por setor. Serviços jurídicos não ficam automaticamente mais baratos porque a parte cara não é a redação do documento — é a responsabilidade por ele, a regulação da profissão e o risco que alguém precisa assumir. Engenharia de software não foi substituída e, segundo o argumento de 2026, não será: agentes de código são ferramentas normais, com curva de adoção normal, dentro de um trabalho que sempre foi menos sobre escrever linhas do que sobre decidir o que escrever.

O texto sobre a subida na pilha desloca a discussão do emprego para o mercado: se os modelos viram commodity, o valor migra para a camada de aplicação — e é ali, não na capacidade bruta, que se forma dependência de fornecedor dentro das empresas. A keynote de julho de 2026 é a tentativa mais aberta de responder à pergunta que fica: o que sobra para as pessoas fazerem.

avaliação independente e a lacuna de confiabilidade (4 textos)

A parte mais operacional do arquivo, e a que virou pesquisa própria. A tese: números de capacidade divulgados por quem construiu o sistema não são evidência, e quase toda demonstração viral encolhe quando alguém de fora refaz a conta — o caso do sistema operacional supostamente construído por agentes por 916 dólares é o exemplo didático.

A contribuição conceitual é a separação entre capacidade e confiabilidade: saber fazer uma tarefa uma vez e conseguir fazê-la de forma previsível são propriedades diferentes, e benchmarks tradicionais medem a primeira ignorando a segunda. Daí o paper de 2026 sobre uma ciência da confiabilidade de agentes e o CRUX, projeto de avaliação em tarefas longas, bagunçadas e de mundo aberto. O estudo de caso sobre agentes fazendo pesquisa em IA de forma autônoma é o teste dessa metodologia no domínio que mais alimenta previsões de decolagem — e o veredito, por ora, é negativo.

ciência: produção não é progresso (2 textos)

Uma preocupação recorrente e contraintuitiva: a IA pode acelerar a produção de papers sem acelerar o conhecimento, e o excesso de produção pode até atrapalhar — mais resultados para revisar, filtrar e replicar, com a mesma capacidade humana de julgamento. É o que a fonte chama de paradoxo produção-progresso, e é uma das poucas hipóteses em que ela levanta um risco de dano em vez de desinflar um.

O contraponto construtivo é o benchmark de reprodutibilidade computacional: se há um lugar onde automação ajudaria de verdade, é na verificação chata e não recompensada de que o código de um paper roda e dá o resultado publicado.

dano concreto contra risco especulativo (3 textos)

Aqui está a auditoria de sistemas reais, que é a origem do projeto. O estudo de 78 deepfakes eleitorais conclui que desinformação política é um problema de demanda e de instituições, não de tecnologia de geração — a maior parte do material examinado seria igualmente eficaz feita à mão, e barata mesmo antes da IA. A análise do algoritmo de alocação de fígados no Reino Unido vai na direção oposta e mostra o outro lado da mesma moeda: uma decisão técnica aparentemente menor no desenho da fórmula produz efeito sistemático sobre quem vive e quem morre.

O texto de 2026 sobre intervenção governamental extraordinária é onde as duas pontas se encontram politicamente. O argumento é que apelos a poderes de emergência, justificados por cenários de risco existencial, funcionam como atalho para não fazer o trabalho difícil e chato de governança — auditoria, responsabilização, regras setoriais.

o livro e a virada da casa (2 textos)

O arquivo começa em setembro de 2024 com o lançamento do livro AI Snake Oil, publicado em capítulos abertos online, e um FAQ sobre o processo de escrita — útil sobretudo como declaração de método: o que entra no livro, como as afirmações foram checadas, o que ficou de fora.

Esses dois textos marcam o ponto de partida do qual a fonte depois se afasta. O projeto nasceu para separar IA que funciona de IA vendida como remédio milagroso, principalmente na variedade preditiva; a mudança de marca de 2025 é o reconhecimento de que desmascarar produto ruim deixou de ser a pergunta interessante.

onde ela discorda de outras fontes do acervo

A fonte briga em duas frentes ao mesmo tempo, e é isso que a torna útil no acervo. Contra o campo do risco existencial — laboratórios, institutos de segurança e cenários de decolagem tipo AI 2027 —, ela nega a premissa compartilhada de que existe um limiar de capacidade capaz de produzir mudança abrupta, e trata pedidos de poderes emergenciais de governo como uma forma de pular a governança concreta. Contra os laboratórios e o discurso de adoção corporativa, ela nega que benchmarks internos e demonstrações contem como evidência de impacto econômico. E contra boa parte da pesquisa acadêmica de desinformação, o estudo dos 78 deepfakes eleitorais afirma diretamente que o problema não é tecnológico — uma posição minoritária no campo que a estuda.

linha do tempo