o problema
Antes disto, a interpretabilidade tinha achado as peças, mas não a fiação. Trabalhos anteriores extraíram features — direções interpretáveis dentro da rede, que resolvem o problema dos neurônios polissemânticos criado pela superposição. Saber que existe uma feature de “Texas” e outra de “capital” é como um biólogo saber que existem células: útil, e ainda muito longe de explicar o organismo. Falta o diagrama de ligações.
O buraco importa porque a saída do modelo não é evidência do processo. Um modelo que responde “95” para 36+59 e diz que somou as unidades e levou o um pode estar fazendo qualquer outra coisa por dentro. Um modelo que escreve uma cadeia de pensamento pode estar executando aqueles passos ou encenando-os. Enquanto o único acesso for entrada e saída, auditar um modelo é interrogar uma testemunha que não tem como estar mentindo nem como estar dizendo a verdade — ela só produz texto plausível.
a ideia
Construir um segundo modelo, mais legível, que reproduza aproximadamente as ativações do primeiro, e depois traçar nele o caminho de um prompt específico até a resposta. O resultado é um grafo de atribuição: nós são features, arestas são influências causais. O grafo não é o modelo — é uma hipótese sobre o modelo, que depois se testa mexendo no modelo de verdade.
O paper aplica isso ao Claude 3.5 Haiku, lançado em outubro de 2024, e usa a analogia do microscópio sem disfarçar o preço dela: uma lente mostra o que está no foco e esconde o resto.
como funciona
O modelo de substituição troca os neurônios das camadas MLP por features de um cross-layer transcoder — aqui, 30 milhões delas no total. As camadas de atenção não são substituídas: os padrões de atenção do modelo original são copiados e tratados como fixos. A diferença entre as duas redes vira error node, um nó não interpretável que registra quanto da computação ficou de fora. Esse conjunto é o local replacement model: local porque atenção e erro mudam a cada prompt.
Do grafo bruto se poda o que não contribui, e features de sentido próximo viram supernodes agrupados à mão. Os rótulos e os agrupamentos são escolhidos antes de medir as intervenções, o que impede ajustar a interpretação ao resultado. Depois vem a validação: inibir um grupo de features no modelo original e ver se o efeito bate com o previsto. Em “a capital do estado que contém Dallas”, inibir Dallas derruba Texas e Austin sem tocar em “diga uma capital”; trocar as features de Texas pelas de Califórnia faz o modelo responder Sacramento.
Os casos seguem esse molde. Na poesia, as features de “rabbit” e “habit” ativam no token de quebra de linha, antes da segunda linha existir, e influenciam até as palavras do meio da frase — planejamento para a frente e raciocínio para trás a partir da meta. Na recusa, features de “não posso responder” recebem entrada direta das features de Human/Assistant e são inibidas por features de “resposta conhecida”. No jailbreak do acróstico, o modelo monta “BOMB” letra por letra sem nunca representar internamente a palavra: ele não sabe o que vai dizer até dizer, e só reconhece o pedido depois de escrever “To make a bomb”.
o que isso custou
Os autores são explícitos: os grafos dão insight satisfatório em cerca de um quarto dos prompts tentados, e os casos publicados são a amostra enviesada dos que deram certo. Mesmo neles, o que se mostra é uma fração dos mecanismos.
Os limites têm nomes. A atenção não é explicada — dá para ver que o modelo olhou para trás, não por quê; a ligação entre “antônimo” e “grande” no circuito multilíngue passa justamente por aí e some do grafo. Os error nodes carregam a matéria escura, e crescem em prompts longos ou estranhos; o método não passou de cerca de cem tokens de prompt. Perguntas do tipo “por que o modelo não recusou” são mal atendidas, porque features inativas não aparecem. Features se dividem em conjunções específicas demais, e o remédio — agrupar à mão — é subjetivo e trabalhoso. E o transcoder pode ser mecanicamente infiel: houve intervenção que o grafo previa e o modelo não confirmou.
Sobre auditoria de segurança, a ressalva é direta: se este método não achar problema, isso quase não é evidência de que não existe problema.
onde isso aparece hoje
É a continuação natural de Scaling Monosemanticity: as features viraram circuito. A consequência prática mais dura é para quem lê raciocínio como log: o paper separa mecanicamente cadeia de pensamento honesta, chutada e construída de trás para frente, o que faz de chain-of-thought uma técnica de capacidade, não um instrumento de auditoria. E a explicação inventada para a própria soma é o experimento de Nisbett e Wilson rodando em silício: o relato verbal vem de um processo diferente do que produziu a resposta.