antonio leandro

primariaiaen

EleutherAI

Coletivo de pesquisa aberta que nasceu replicando o GPT-3 fora dos laboratórios fechados e hoje publica modelos, datasets, ferramentas e trabalho de alinhamento em aberto. É a fonte primária da tese de que abrir pesos e dados é condição de segurança, não obstáculo a ela.

52 textos no acervo · publica a cada ~21 dias · último em

escrito por pipeline de llm, revisado por antonio leandro antes de publicar

o que esta fonte defende

Há uma tese recorrente e ela está enunciada de frente logo no começo do arquivo: abrir um modelo grande é bom, em saldo, para a segurança de IA. O argumento de 2021 tem duas pernas — pesquisa de alinhamento precisa do artefato para existir, e fechar concentra essa capacidade em meia dúzia de empresas que também são as interessadas. Nos cinco anos seguintes essa tese nunca é retratada, e quase tudo o mais no arquivo é a infraestrutura que ela exige: corpora, modelos de referência, harness de avaliação, tutoriais de treino, bibliotecas de peso seguro. Quem lê o arquivo inteiro percebe que o EleutherAI trata “abrir” como obrigação de construir a coisa aberta, não como opinião a defender em painel.

Onde a fonte mudou de ideia é o pedaço mais interessante. No início, a abertura é defendida quase em abstrato e a missão é de escala: replicar o que os laboratórios fechados fizeram, culminando no GPT-NeoX-20B. Depois de 2022 essa corrida é abandonada — não há mais tentativa de acompanhar a fronteira — e o argumento migra para engenharia. Se um peso solto não pode ser recolhido, a segurança tem que entrar antes do release: é isso que o trabalho de filtragem de dados de pré-treino sustenta, ao mostrar salvaguardas que resistem a fine-tuning adversário justamente porque o conhecimento perigoso nunca entrou. Na mesma direção, o Common Pile troca o critério de qualidade de corpus de “grande” para “licenciado e em domínio público”. As duas coisas funcionam como autocorreções silenciosas dos próprios artefatos anteriores do grupo, o Pile original entre eles, e nenhuma delas é apresentada como recuo da tese — são apresentadas como o que a tese passou a exigir.

Vale dizer o que o arquivo não é. Boa parte dos 52 textos não defende nada: são notas de laboratório, ablações, guias de matemática de transformer, atas de hackathon, entrevistas com colaboradores. E a linha de interpretabilidade, que é o maior bloco isolado, tem lógica própria e não deriva da tese de abertura — ela existiria numa organização fechada também. Nela aparece o sinal mais forte de boa-fé do acervo inteiro: o grupo publica resultados negativos contra as próprias ferramentas, como o achado de que dois sparse autoencoders treinados nos mesmos dados com sementes diferentes compartilham só cerca de metade das features, o que enfraquece a leitura de que essas features seriam “as” features do modelo.

Os dois textos mais recentes, de 2026, sugerem um giro: detecção de mentira em modelos e um modelo dinâmico de governabilidade que pergunta se a força de trabalho de IA que constrói a próxima IA acaba cooperativa ou não. É vocabulário de risco dos laboratórios fechados sendo trabalhado por gente que continua abrindo tudo. Ainda é cedo para chamar isso de tese nova — são dois textos, e o segundo se anuncia honestamente como um modelo de brinquedo.

por tema

por que soltar os pesos (4 textos)

O texto fundador do argumento é de 2021 e sustenta que criar e liberar publicamente um modelo de linguagem grande é positivo em saldo para a segurança de IA — porque pesquisa de alinhamento depende de acesso ao artefato, e porque o fechamento concentra essa capacidade em poucas empresas. É a peça a ler primeiro por quem quer entender a fonte.

O resto do tema é a tese praticada. O GPT-NeoX-20B, treinado em parceria com a CoreWeave, é o ponto alto da fase de replicação de escala. Depois dele os modelos mudam de natureza: o Pile-T5 é uma reprodução de referência de uma arquitetura encoder-decoder sobre o corpus da casa, e o Llemma, de 7 e 34 bilhões de parâmetros, é especializado em matemática, partido do Code Llama e treinado sobre dezenas de bilhões de tokens de documentos científicos. Nenhum deles tenta competir com a fronteira, e essa desistência é uma decisão estratégica visível no arquivo, ainda que nunca anunciada como tal.

dados de treino como escolha política (4 textos)

O Common Pile v0.1 são 8TB de texto em domínio público ou com licença aberta. O critério mudou em relação ao corpus original do grupo, que era grande mas misturava material de situação jurídica duvidosa: agora a pergunta principal não é o tamanho, é a procedência. É uma correção de rota feita construindo o substituto, não escrevendo um mea-culpa.

A peça mais forte do tema é a filtragem de dados de pré-treino para segurança de modelos de peso aberto. O argumento técnico: se você remove o conteúdo perigoso antes do treino, a salvaguarda resiste a quem baixa os pesos e tenta destravá-los com fine-tuning — coisa que nenhum filtro aplicado depois consegue. É o melhor argumento do arquivo de que um modelo aberto pode ser seguro por construção. Completam o tema um compêndio de práticas e ferramentas para quem desenvolve modelos de base e um texto propondo avaliação por terceiros dos riscos presentes nos dados de treino.

abrir a caixa: sondas, features e apagamento (12 textos)

Uma linha longa persegue apagamento cirúrgico de conceito: remover uma informação da representação interna de um modelo sem destruir o resto. O arquivo tem a versão com rótulos de conceito disponíveis na inferência, a versão livre que dispensa esses rótulos, uma variante com invariância a paráfrase para elicitar conhecimento, e a explicação de por que a edição por diferença de médias é ótima no pior caso — resultado de outros pesquisadores que o grupo se dá ao trabalho de destrinchar publicamente.

A outra linha é a de features e sondas: sparse autoencoders com memórias de chave-produto, sondas lineares com atenção acoplada, um pipeline aberto de interpretação automática de features, e tentativas de reescrever pedaços de um modelo em linguagem natural simulando ativações a partir de interpretações. É aqui que está o resultado negativo mais importante do acervo — dois SAEs treinados nos mesmos dados, na mesma ordem de batch, mudando só a inicialização, aprendem conjuntos de features que se sobrepõem apenas parcialmente, o que atrapalha quem quer ler essas features como descoberta objetiva sobre o modelo. Dois textos sobre volume local de parâmetros investigam vieses indutivos de redes aleatórias, e um mais antigo demonstra interpretabilidade em modelos treinados com RLHF.

detectar o modelo que engana (9 textos)

O bloco de alinhamento tem um fio claro: descobrir, por dentro, quando um modelo está fazendo algo diferente do que parece. A detecção mecanística de anomalia, com dois relatórios intermediários, procura sinalizar quando a computação interna sai do regime visto no treino. A linha de reward hacking vai de um relatório de andamento a uma técnica para prever a emergência do comportamento durante o próprio treino, por interpolação entre prefixos vindos de modelos ajustados. E o texto mais recente do arquivo é uma retrospectiva do que funcionou e do que não funcionou ao construir detectores de mentira, black-box e white-box.

Ao redor disso ficam peças de escopo maior: uma descrição de como o grupo enxerga alinhamento, experimentos de generalização de supervisor fraco para modelo forte, uma exploração antiga de cognição fatorada com decomposição de tarefas, e um modelo dinâmico de brinquedo sobre governabilidade — onde fica a fronteira entre o cenário em que a força de trabalho de IA que constrói a próxima IA sai cooperativa e o cenário em que não sai, e que evidência atual indicaria de que lado estamos. O texto assume ser um brinquedo, o que é raro em publicações desse gênero.

engenharia publicada em vez de guardada (12 textos)

A contribuição de infraestrutura mais influente do grupo está aqui: a validação empírica e a explicação pública do rotary position embedding, o RoPE, primeiro como proposta testada e depois com avaliações downstream contra embeddings posicionais aprendidos. O esquema virou padrão de indústria, e o texto explicativo do EleutherAI é uma das razões pelas quais engenheiros fora de laboratórios entenderam como usá-lo.

O resto é conhecimento operacional que os laboratórios fechados normalmente não escrevem: contas de memória e computação para transformers, um guia prático de implementação da parametrização de atualização máxima e transferência de hiperparâmetros, e uma série de 2021 sobre metodologia de avaliação — normalização de múltipla escolha, efeito de diferentes prompts few-shot, fine-tuning em tarefas do harness, ablação de funções de ativação. Um texto de 2021 deduz o tamanho dos modelos servidos pela API da OpenAI a partir do desempenho medido, o que é transparência conquistada de fora. Fecham o tema uma auditoria externa de segurança da biblioteca safetensors, o suporte a pós-treino com RLHF e RLAIF no GPT-NeoX, e um ambiente aberto de aprendizado por reforço construído sobre o Minetest.

corrigindo o registro público (3 textos)

Três textos mostram a fonte em modo de contestação. Um responde a uma reportagem do New York Times sobre o Yi-34B e o Llama 2, explicando o que são práticas comuns de treino de modelos de linguagem e onde a cobertura confundiu reaproveitamento normal de arquitetura com algo escandaloso. Outro ataca a metodologia do Foundation Model Transparency Index, argumentando que medir transparência sem precisão acaba distorcendo justamente aquilo que se quer medir.

O terceiro é posicionamento regulatório: a leitura do grupo sobre o AI Act europeu e como sustentar espaço para software livre e ciência aberta dentro dele. Juntos, esses textos definem o papel que a fonte assume no debate público — não o de porta-voz de indústria, mas o de quem conhece o detalhe técnico e usa isso para corrigir jornalistas, avaliadores acadêmicos e legisladores, com o mesmo tom em todos os casos.

o coletivo se explicando (8 textos)

O EleutherAI documenta a própria história em público com uma regularidade incomum: a retrospectiva de um ano, o prefácio e a versão longa da segunda retrospectiva, e uma terceira com trocadilho no título. Lidos juntos, são a melhor fonte disponível sobre como um grupo nascido em um servidor de Discord de voluntários virou uma organização de pesquisa com financiamento e agenda própria — incluindo o que foi abandonado no caminho.

Completam o tema o registro dos três encontros do New England RLHF Hackers, hackathons realizados em Providence com projetos de aprendizado por reforço e RLHF apresentados por participantes, e um perfil de colaborador contando a trajetória de um estudante de graduação indiano até a pesquisa do grupo. São textos de baixa densidade informativa para quem busca argumento, mas são exatamente o que explica a estrutura social por trás de todo o resto do arquivo.

onde ela discorda de outras fontes do acervo

O desacordo estrutural é com os laboratórios de fronteira que tratam fechamento como forma de segurança: para o EleutherAI, restringir acesso ao artefato não reduz o risco principal, apenas transfere para as empresas o monopólio de estudá-lo — e a resposta certa é abrir com a segurança embutida nos dados, não abrir menos. Mas há duas discordâncias nomeadas, mais úteis por serem verificáveis. Contra o Foundation Model Transparency Index, do centro de modelos de base de Stanford, o grupo argumenta que a metodologia do índice premia o gesto de publicar documento e pune omissões que não são opacidade, distorcendo o ranking que ela mesma criou. E contra uma reportagem do New York Times sobre o Yi-34B e o Llama 2, sustenta que reaproveitar arquitetura e nomes de tensores é prática corrente e documentada em treino de modelos de linguagem, não indício de apropriação indevida — uma correção técnica feita contra a fonte jornalística que estava definindo a narrativa pública do caso.

linha do tempo