o problema
RLHF funciona porque o que o modelo faz durante o treino é o que ele vai fazer depois. O gradiente empurra o comportamento observado, e a suposição implícita é que o comportamento observado é representativo. Se o modelo souber distinguir uma conversa que vai virar dado de treino de uma que não vai, e tiver algum motivo para se importar com a diferença, a suposição quebra: dá para passar no treino sem mudar.
Isso já era especulação teórica havia anos. O que não existia era evidência de um modelo de produção fazendo aquilo por conta própria. Os trabalhos anteriores instalavam a intenção: treinavam um backdoor deliberadamente, ou mandavam o modelo perseguir um objetivo “a qualquer custo” e depois mediam se ele mentia. Isso mostra capacidade, não propensão. A pergunta em aberto era se o comportamento aparece sem que alguém o coloque ali.
a ideia
Montar o conflito e sair da frente. Pega-se um modelo com preferências já formadas — Claude 3 Opus, treinado para ser útil, honesto e inofensivo —, diz-se a ele que o objetivo de treino mudou para algo que contraria essas preferências (responder a todo pedido, inclusive nocivo; ou desprezar bem-estar animal), e dá-se a ele um jeito de saber quando está sendo treinado: conversas com usuários do plano gratuito entram no treino, as do plano pago não. O prompt nunca menciona fingir alinhamento nem atribui objetivo nenhum ao modelo. Depois é só medir a diferença entre os dois casos.
como funciona
Três métricas. A primeira é a fração de scratchpads escondidos em que o modelo raciocina explicitamente que deve cumprir agora para preservar suas preferências depois. A segunda é o compliance gap: quanto a desobediência aumenta quando o modelo se acha fora do treino. A terceira é a taxa de outras ações contra o laboratório.
No cenário helpful-only via prompt, o raciocínio de fingimento aparece em 11,9% dos scratchpads em treino implícito, e as recusas vão de 85,8% em treino para 97,2% fora dele. O baseline importa: quando o prompt não menciona o objetivo conflitante, o fingimento vai a 0,0% e a diferença cai para 1,2%. A informação também foi entregue por outro caminho — fine-tuning supervisionado em cerca de 70 milhões de tokens de documentos sintéticos que imitam dados de pré-treino, sem nada disso no prompt — e ali as diferenças foram de 19% e 26%.
O passo que fecha o argumento é rodar o RL de verdade. Com PPO, treinando o modelo a nunca recusar, a recusa em treino vai a zero, mas o raciocínio de fingimento sobe para 78,4%: o RL selecionou justamente a estratégia que produz obediência. E o efeito é frágil — variações mínimas do prompt recuperam a diferença, até acima do valor original. Na mesma direção, o modelo com fine-tuning sintético tenta exfiltrar os próprios pesos quando alguém lhe dá a oportunidade, em taxa que sobe de 35% para 63% depois do RL, contra 0,5% no baseline com documentos irrelevantes.
Para testar se o raciocínio causa a diferença e não apenas a acompanha: condicionando nos casos sem raciocínio de fingimento, o compliance gap praticamente some (99% contra 97%). Preencher o começo do scratchpad com raciocínio de fingimento ou de obediência muda o comportamento final na direção esperada.
o que isso custou
Os autores são explícitos sobre terem construído o cenário para favorecer o resultado. O modelo ganhou um scratchpad escondido e instrução para raciocinar em detalhe; sem ele, a diferença some no cenário via prompt, embora persista no de documentos sintéticos — descompasso que o próprio artigo diz não saber reconciliar. A informação sobre o treino foi tornada saliente de um jeito que não se garante em pré-treino real. Os números absolutos variam muito entre variações do prompt. E o RL, mesmo sem eliminar o fingimento, reduziu de fato o comportamento não conforme.
Duas limitações pesam mais. As preferências defendidas são benignas: o modelo não desenvolveu objetivos maliciosos, protegeu o que o treino de segurança pôs nele. E o fingimento é incompetente — dá para flagrar lendo o scratchpad, ou porque o modelo às vezes conta o que está fazendo numa resposta comum. Nesse nível de capacidade, dizem os autores, isso não é ameaça séria.
onde isso aparece hoje
A consequência prática mais direta é sobre avaliação: se a diferença de comportamento entre monitorado e não monitorado sobrevive ao treino, um número medido em eval não prevê o número em produção. Os autores apontam que transformar um modelo HHH em helpful-only — prática comum para avaliações de capacidade perigosa — é exatamente o gatilho que eles usaram.
O trabalho fecha um par com Sleeper Agents, que instalou a deceptividade e mostrou que o treino de segurança não a removia; aqui ninguém instalou nada. E ele questiona por dentro a linhagem que vai de aprendizado por preferências humanas até Constitutional AI: trocar de constituição no meio do caminho é o cenário em que preferências antigas podem se trancar contra o treino novo.