o que esta fonte defende
Há uma tese recorrente e ela está enunciada de frente logo no começo do arquivo: abrir um modelo grande é bom, em saldo, para a segurança de IA. O argumento de 2021 tem duas pernas — pesquisa de alinhamento precisa do artefato para existir, e fechar concentra essa capacidade em meia dúzia de empresas que também são as interessadas. Nos cinco anos seguintes essa tese nunca é retratada, e quase tudo o mais no arquivo é a infraestrutura que ela exige: corpora, modelos de referência, harness de avaliação, tutoriais de treino, bibliotecas de peso seguro. Quem lê o arquivo inteiro percebe que o EleutherAI trata “abrir” como obrigação de construir a coisa aberta, não como opinião a defender em painel.
Onde a fonte mudou de ideia é o pedaço mais interessante. No início, a abertura é defendida quase em abstrato e a missão é de escala: replicar o que os laboratórios fechados fizeram, culminando no GPT-NeoX-20B. Depois de 2022 essa corrida é abandonada — não há mais tentativa de acompanhar a fronteira — e o argumento migra para engenharia. Se um peso solto não pode ser recolhido, a segurança tem que entrar antes do release: é isso que o trabalho de filtragem de dados de pré-treino sustenta, ao mostrar salvaguardas que resistem a fine-tuning adversário justamente porque o conhecimento perigoso nunca entrou. Na mesma direção, o Common Pile troca o critério de qualidade de corpus de “grande” para “licenciado e em domínio público”. As duas coisas funcionam como autocorreções silenciosas dos próprios artefatos anteriores do grupo, o Pile original entre eles, e nenhuma delas é apresentada como recuo da tese — são apresentadas como o que a tese passou a exigir.
Vale dizer o que o arquivo não é. Boa parte dos 52 textos não defende nada: são notas de laboratório, ablações, guias de matemática de transformer, atas de hackathon, entrevistas com colaboradores. E a linha de interpretabilidade, que é o maior bloco isolado, tem lógica própria e não deriva da tese de abertura — ela existiria numa organização fechada também. Nela aparece o sinal mais forte de boa-fé do acervo inteiro: o grupo publica resultados negativos contra as próprias ferramentas, como o achado de que dois sparse autoencoders treinados nos mesmos dados com sementes diferentes compartilham só cerca de metade das features, o que enfraquece a leitura de que essas features seriam “as” features do modelo.
Os dois textos mais recentes, de 2026, sugerem um giro: detecção de mentira em modelos e um modelo dinâmico de governabilidade que pergunta se a força de trabalho de IA que constrói a próxima IA acaba cooperativa ou não. É vocabulário de risco dos laboratórios fechados sendo trabalhado por gente que continua abrindo tudo. Ainda é cedo para chamar isso de tese nova — são dois textos, e o segundo se anuncia honestamente como um modelo de brinquedo.
por tema
por que soltar os pesos (4 textos)
O texto fundador do argumento é de 2021 e sustenta que criar e liberar publicamente um modelo de linguagem grande é positivo em saldo para a segurança de IA — porque pesquisa de alinhamento depende de acesso ao artefato, e porque o fechamento concentra essa capacidade em poucas empresas. É a peça a ler primeiro por quem quer entender a fonte.
O resto do tema é a tese praticada. O GPT-NeoX-20B, treinado em parceria com a CoreWeave, é o ponto alto da fase de replicação de escala. Depois dele os modelos mudam de natureza: o Pile-T5 é uma reprodução de referência de uma arquitetura encoder-decoder sobre o corpus da casa, e o Llemma, de 7 e 34 bilhões de parâmetros, é especializado em matemática, partido do Code Llama e treinado sobre dezenas de bilhões de tokens de documentos científicos. Nenhum deles tenta competir com a fronteira, e essa desistência é uma decisão estratégica visível no arquivo, ainda que nunca anunciada como tal.
- Why Release a Large Language Model? · 2021-06-02
- Announcing GPT-NeoX-20B · 2022-02-02
- Pile-T5 · 2024-04-14
- Llemma: An Open Language Model For Mathematics · 2023-10-17
dados de treino como escolha política (4 textos)
O Common Pile v0.1 são 8TB de texto em domínio público ou com licença aberta. O critério mudou em relação ao corpus original do grupo, que era grande mas misturava material de situação jurídica duvidosa: agora a pergunta principal não é o tamanho, é a procedência. É uma correção de rota feita construindo o substituto, não escrevendo um mea-culpa.
A peça mais forte do tema é a filtragem de dados de pré-treino para segurança de modelos de peso aberto. O argumento técnico: se você remove o conteúdo perigoso antes do treino, a salvaguarda resiste a quem baixa os pesos e tenta destravá-los com fine-tuning — coisa que nenhum filtro aplicado depois consegue. É o melhor argumento do arquivo de que um modelo aberto pode ser seguro por construção. Completam o tema um compêndio de práticas e ferramentas para quem desenvolve modelos de base e um texto propondo avaliação por terceiros dos riscos presentes nos dados de treino.
- The Common Pile v0.1 · 2025-06-05
- Pretraining Data Filtering for Open-Weight AI Safety · 2025-08-12
- The Foundation Model Development Cheatsheet · 2024-02-29
- Third-party evaluation to identify risks in LLMs’ training data · 2024-10-31
abrir a caixa: sondas, features e apagamento (12 textos)
Uma linha longa persegue apagamento cirúrgico de conceito: remover uma informação da representação interna de um modelo sem destruir o resto. O arquivo tem a versão com rótulos de conceito disponíveis na inferência, a versão livre que dispensa esses rótulos, uma variante com invariância a paráfrase para elicitar conhecimento, e a explicação de por que a edição por diferença de médias é ótima no pior caso — resultado de outros pesquisadores que o grupo se dá ao trabalho de destrinchar publicamente.
A outra linha é a de features e sondas: sparse autoencoders com memórias de chave-produto, sondas lineares com atenção acoplada, um pipeline aberto de interpretação automática de features, e tentativas de reescrever pedaços de um modelo em linguagem natural simulando ativações a partir de interpretações. É aqui que está o resultado negativo mais importante do acervo — dois SAEs treinados nos mesmos dados, na mesma ordem de batch, mudando só a inicialização, aprendem conjuntos de features que se sobrepõem apenas parcialmente, o que atrapalha quem quer ler essas features como descoberta objetiva sobre o modelo. Dois textos sobre volume local de parâmetros investigam vieses indutivos de redes aleatórias, e um mais antigo demonstra interpretabilidade em modelos treinados com RLHF.
- Attention Probes · 2025-08-01
- Product Key Memory Sparse Coders · 2025-05-30
- SAEs trained on the same data don’t learn the same features · 2024-12-12
- Partially rewriting an LLM in natural language · 2024-11-10
- Open Source Automated Interpretability for Sparse Autoencoder Features · 2024-07-30
- Free Form Least-Squares Concept Erasure Without Oracle Concept Labels · 2024-06-13
- Least-Squares Concept Erasure with Oracle Concept Labels · 2023-12-19
- Diff-in-Means Concept Editing is Worst-Case Optimal · 2023-12-11
- VINC-S: Closed-form Optionally-supervised Knowledge Elicitation with Paraphrase Invariance · 2024-05-22
- Exploratory Analysis of TRLX RLHF Transformers with TransformerLens · 2023-04-02
- Research Update: Applications of Local Volume Measurement · 2025-06-23
- Studying inductive biases of random networks via local volumes · 2025-06-12
detectar o modelo que engana (9 textos)
O bloco de alinhamento tem um fio claro: descobrir, por dentro, quando um modelo está fazendo algo diferente do que parece. A detecção mecanística de anomalia, com dois relatórios intermediários, procura sinalizar quando a computação interna sai do regime visto no treino. A linha de reward hacking vai de um relatório de andamento a uma técnica para prever a emergência do comportamento durante o próprio treino, por interpolação entre prefixos vindos de modelos ajustados. E o texto mais recente do arquivo é uma retrospectiva do que funcionou e do que não funcionou ao construir detectores de mentira, black-box e white-box.
Ao redor disso ficam peças de escopo maior: uma descrição de como o grupo enxerga alinhamento, experimentos de generalização de supervisor fraco para modelo forte, uma exploração antiga de cognição fatorada com decomposição de tarefas, e um modelo dinâmico de brinquedo sobre governabilidade — onde fica a fronteira entre o cenário em que a força de trabalho de IA que constrói a próxima IA sai cooperativa e o cenário em que não sai, e que evidência atual indicaria de que lado estamos. O texto assume ser um brinquedo, o que é raro em publicações desse gênero.
- What We Learned Trying to Catch AI Liars: An Aletheia’s Quest Retrospective · 2026-08-25
- A Dynamical Model of AI Governability · 2026-07-13
- Early Indicators of Reward Hacking via Reasoning Interpolation · 2026-04-15
- Reward Hacking Resarch Update · 2025-10-07
- Mechanistic Anomaly Detection Research Update 2 · 2024-10-14
- Mechanistic Anomaly Detection Research Update · 2024-08-05
- Experiments in Weak-to-Strong Generalization · 2024-06-14
- A Preliminary Exploration into Factored Cognition with Language Models · 2021-10-25
- Alignment Research @ EleutherAI · 2023-05-03
engenharia publicada em vez de guardada (12 textos)
A contribuição de infraestrutura mais influente do grupo está aqui: a validação empírica e a explicação pública do rotary position embedding, o RoPE, primeiro como proposta testada e depois com avaliações downstream contra embeddings posicionais aprendidos. O esquema virou padrão de indústria, e o texto explicativo do EleutherAI é uma das razões pelas quais engenheiros fora de laboratórios entenderam como usá-lo.
O resto é conhecimento operacional que os laboratórios fechados normalmente não escrevem: contas de memória e computação para transformers, um guia prático de implementação da parametrização de atualização máxima e transferência de hiperparâmetros, e uma série de 2021 sobre metodologia de avaliação — normalização de múltipla escolha, efeito de diferentes prompts few-shot, fine-tuning em tarefas do harness, ablação de funções de ativação. Um texto de 2021 deduz o tamanho dos modelos servidos pela API da OpenAI a partir do desempenho medido, o que é transparência conquistada de fora. Fecham o tema uma auditoria externa de segurança da biblioteca safetensors, o suporte a pós-treino com RLHF e RLAIF no GPT-NeoX, e um ambiente aberto de aprendizado por reforço construído sobre o Minetest.
- Rotary Embeddings: A Relative Revolution · 2021-04-21
- Downstream Evaluations of Rotary Position Embeddings · 2021-08-16
- Transformer Math 101 · 2023-04-17
- The Practitioner’s Guide to the Maximal Update Parameterization · 2024-09-19
- Multiple Choice Normalization in LM Evaluation · 2021-10-11
- On the Sizes of OpenAI API Models · 2021-05-24
- Evaluating Different Fewshot Description Prompts on GPT-3 · 2021-05-24
- Finetuning Models on Downstream Tasks · 2021-05-24
- Activation Function Ablation · 2021-05-24
- 🐶Safetensors audited as really safe and becoming the default · 2023-05-23
- RLHF and RLAIF in GPT-NeoX · 2024-10-10
- Minetester: A fully open RL environment built on Minetest · 2023-07-08
corrigindo o registro público (3 textos)
Três textos mostram a fonte em modo de contestação. Um responde a uma reportagem do New York Times sobre o Yi-34B e o Llama 2, explicando o que são práticas comuns de treino de modelos de linguagem e onde a cobertura confundiu reaproveitamento normal de arquitetura com algo escandaloso. Outro ataca a metodologia do Foundation Model Transparency Index, argumentando que medir transparência sem precisão acaba distorcendo justamente aquilo que se quer medir.
O terceiro é posicionamento regulatório: a leitura do grupo sobre o AI Act europeu e como sustentar espaço para software livre e ciência aberta dentro dele. Juntos, esses textos definem o papel que a fonte assume no debate público — não o de porta-voz de indústria, mas o de quem conhece o detalhe técnico e usa isso para corrigir jornalistas, avaliadores acadêmicos e legisladores, com o mesmo tom em todos os casos.
- Yi-34B, Llama 2, and common practices in LLM training: a fact check of the New York Times · 2024-03-25
- How the Foundation Model Transparency Index Distorts Transparency · 2023-10-26
- EleutherAI’s Thoughts on the EU AI Act · 2023-07-26
o coletivo se explicando (8 textos)
O EleutherAI documenta a própria história em público com uma regularidade incomum: a retrospectiva de um ano, o prefácio e a versão longa da segunda retrospectiva, e uma terceira com trocadilho no título. Lidos juntos, são a melhor fonte disponível sobre como um grupo nascido em um servidor de Discord de voluntários virou uma organização de pesquisa com financiamento e agenda própria — incluindo o que foi abandonado no caminho.
Completam o tema o registro dos três encontros do New England RLHF Hackers, hackathons realizados em Providence com projetos de aprendizado por reforço e RLHF apresentados por participantes, e um perfil de colaborador contando a trajetória de um estudante de graduação indiano até a pesquisa do grupo. São textos de baixa densidade informativa para quem busca argumento, mas são exatamente o que explica a estrutura social por trás de todo o resto do arquivo.
- What A Long, Strange Trip It’s Been: EleutherAI One Year Retrospective · 2021-07-08
- The View from 30,000 Feet: Preface to the Second EleutherAI Retrospective · 2023-03-02
- EleutherAI Second Retrospective: The long version · 2023-03-26
- Extending the RoPE · 2023-11-13
- Contributor Spotlight: Mohammad Aflah Khan · 2023-09-21
- The third New England RLHF Hackers Hackathon · 2023-11-26
- The second New England RLHF Hackers Hackathon · 2023-10-13
- The first New England RLHF Hackers Hackathon · 2023-09-19
onde ela discorda de outras fontes do acervo
O desacordo estrutural é com os laboratórios de fronteira que tratam fechamento como forma de segurança: para o EleutherAI, restringir acesso ao artefato não reduz o risco principal, apenas transfere para as empresas o monopólio de estudá-lo — e a resposta certa é abrir com a segurança embutida nos dados, não abrir menos. Mas há duas discordâncias nomeadas, mais úteis por serem verificáveis. Contra o Foundation Model Transparency Index, do centro de modelos de base de Stanford, o grupo argumenta que a metodologia do índice premia o gesto de publicar documento e pune omissões que não são opacidade, distorcendo o ranking que ela mesma criou. E contra uma reportagem do New York Times sobre o Yi-34B e o Llama 2, sustenta que reaproveitar arquitetura e nomes de tensores é prática corrente e documentada em treino de modelos de linguagem, não indício de apropriação indevida — uma correção técnica feita contra a fonte jornalística que estava definindo a narrativa pública do caso.
linha do tempo
- 2026-08-25 — What We Learned Trying to Catch AI Liars: An Aletheia’s Quest Retrospective
- 2026-07-13 — A Dynamical Model of AI Governability
- 2026-04-15 — Early Indicators of Reward Hacking via Reasoning Interpolation
- 2025-10-07 — Reward Hacking Resarch Update
- 2025-08-12 — Pretraining Data Filtering for Open-Weight AI Safety
- 2025-08-01 — Attention Probes
- 2025-06-23 — Research Update: Applications of Local Volume Measurement
- 2025-06-12 — Studying inductive biases of random networks via local volumes
- 2025-06-05 — The Common Pile v0.1
- 2025-05-30 — Product Key Memory Sparse Coders
- 2024-12-12 — SAEs trained on the same data don’t learn the same features
- 2024-11-10 — Partially rewriting an LLM in natural language
- 2024-10-31 — Third-party evaluation to identify risks in LLMs’ training data
- 2024-10-14 — Mechanistic Anomaly Detection Research Update 2
- 2024-10-10 — RLHF and RLAIF in GPT-NeoX
- 2024-09-19 — The Practitioner’s Guide to the Maximal Update Parameterization
- 2024-08-05 — Mechanistic Anomaly Detection Research Update
- 2024-07-30 — Open Source Automated Interpretability for Sparse Autoencoder Features
- 2024-06-14 — Experiments in Weak-to-Strong Generalization
- 2024-06-13 — Free Form Least-Squares Concept Erasure Without Oracle Concept Labels
- 2024-05-22 — VINC-S: Closed-form Optionally-supervised Knowledge Elicitation with Paraphrase Invariance
- 2024-04-14 — Pile-T5
- 2024-03-25 — Yi-34B, Llama 2, and common practices in LLM training: a fact check of the New York Times
- 2024-02-29 — The Foundation Model Development Cheatsheet
- 2023-12-19 — Least-Squares Concept Erasure with Oracle Concept Labels
- 2023-12-11 — Diff-in-Means Concept Editing is Worst-Case Optimal
- 2023-11-26 — The third New England RLHF Hackers Hackathon
- 2023-11-13 — Extending the RoPE
- 2023-10-26 — How the Foundation Model Transparency Index Distorts Transparency
- 2023-10-17 — Llemma: An Open Language Model For Mathematics
- 2023-10-13 — The second New England RLHF Hackers Hackathon
- 2023-09-21 — Contributor Spotlight: Mohammad Aflah Khan
- 2023-09-19 — The first New England RLHF Hackers Hackathon
- 2023-07-26 — EleutherAI’s Thoughts on the EU AI Act
- 2023-07-08 — Minetester: A fully open RL environment built on Minetest
- 2023-05-23 — 🐶Safetensors audited as really safe and becoming the default
- 2023-05-03 — Alignment Research @ EleutherAI
- 2023-04-17 — Transformer Math 101
- 2023-04-02 — Exploratory Analysis of TRLX RLHF Transformers with TransformerLens
- 2023-03-26 — EleutherAI Second Retrospective: The long version
- 2023-03-02 — The View from 30,000 Feet: Preface to the Second EleutherAI Retrospective
- 2022-02-02 — Announcing GPT-NeoX-20B
- 2021-10-25 — A Preliminary Exploration into Factored Cognition with Language Models
- 2021-10-11 — Multiple Choice Normalization in LM Evaluation
- 2021-08-16 — Downstream Evaluations of Rotary Position Embeddings
- 2021-07-08 — What A Long, Strange Trip It’s Been: EleutherAI One Year Retrospective
- 2021-06-02 — Why Release a Large Language Model?
- 2021-05-24 — On the Sizes of OpenAI API Models
- 2021-05-24 — Evaluating Different Fewshot Description Prompts on GPT-3
- 2021-05-24 — Finetuning Models on Downstream Tasks
- 2021-05-24 — Activation Function Ablation
- 2021-04-21 — Rotary Embeddings: A Relative Revolution