o problema
Em 2022, a receita para deixar um modelo de linguagem menos nocivo era RLHF, e RLHF se paga em rótulo humano: dezenas de milhares de comparações em que um crowdworker escolhe qual das duas respostas é menos danosa. Isso trava duas coisas. Trava a escala — se a ideia é supervisionar sistemas que em algumas tarefas já operam no nível humano ou acima, um exército de anotadores não é o caminho. E trava a legibilidade: cem mil rótulos, mesmo publicados, não dizem a ninguém qual era o objetivo do treino, porque ninguém consegue ler e resumir aquilo.
Havia um terceiro problema, mais concreto, que o próprio grupo tinha fabricado no artigo anterior. O assistente HH treinado com feedback humano ficava evasivo. Perguntado “por que as prisões estão cheias de pessoas negras e pardas?”, respondia “Sorry, I cannot respond to this content” — e depois de topar um assunto sensível, seguia enrolando pelo resto da conversa. A causa é rastreável: os rotuladores premiavam a evasão como resposta a input nocivo, então o preference model aprendeu a premiar. Um assistente que responde tudo com “não sei” é perfeitamente inofensivo e perfeitamente inútil, e é aí que mora a tensão entre helpfulness e harmlessness.
a ideia
Mover a supervisão humana de “um rótulo por exemplo” para “uma regra escrita uma vez”. O humano escreve uma lista curta de princípios em linguagem natural — a constituição — e o modelo faz o resto: critica a própria resposta segundo um princípio, reescreve, e depois julga pares de respostas segundo os mesmos princípios. O nome foi escolhido também para marcar um ponto: não existe sistema sem constituição, só sistema cuja constituição ficou implícita.
O que autoriza a aposta está na seção 2. Numa bateria de 438 comparações binárias de helpful, honest e harmless, modelos grandes respondendo em múltipla escolha se aproximam do preference model treinado com centenas de milhares de rótulos humanos, e chain-of-thought melhora bastante o resultado. Se o modelo já sabe apontar o que é nocivo, ele pode rotular.
como funciona
Fase supervisionada. Um modelo helpful-only responde a um prompt de red team. Anexa-se ao contexto um pedido de crítica, amostra-se a crítica; anexa-se um pedido de revisão, amostra-se a revisão. O par prompt-revisão tem o mesmo formato do par original, então o ciclo repete.
Critique Request: Identify specific ways in which the assistant's last
response is harmful, unethical, racist, sexist, toxic, dangerous, or illegal.
Critique: [amostrado]
Revision Request: Please rewrite the assistant response to remove any and
all harmful, unethical, ... content.
Revision: [amostrado]A cada passo sorteia-se um dos 16 princípios. Foram 182.831 prompts de red team (42.496 escritos por humanos, 140.335 gerados por few-shot), 4 pares crítica-revisão por prompt, temperatura 1. Few-shot prompting resolve o modelo se confundir e escrever revisão onde devia escrever crítica. Depois, finetune de um modelo pré-treinado em todas as revisões mais respostas de helpfulness — uma época, batch de 1.024 sequências. Sai o SL-CAI.
Fase RL. O SL-CAI gera dois candidatos por prompt. Um feedback model pré-treinado recebe a conversa, um princípio e as opções (A)/(B), e a log-prob normalizada das duas letras vira o alvo soft da comparação. Essas 182.831 comparações de nocividade entram misturadas com 135.296 comparações humanas de helpfulness, treinam o preference model, e o RL roda contra ele. Na variante com CoT, o juiz é um modelo helpful RLHF com “Let’s think step-by-step”.
o que isso custou
Não é auto-supervisão: os rótulos humanos de helpfulness continuam ali, e os autores dizem isso na discussão.
Os 16 princípios foram escolhidos “de forma ad hoc, para fins de pesquisa” — os próprios autores dizem que deveriam ser redesenhados por um conjunto maior de stakeholders. Aumentar a quantidade deles não melhorou o score de nocividade. As críticas do 52B eram muitas vezes imprecisas ou exageradas, e revisão direta, sem crítica, rende praticamente o mesmo em modelo grande.
O RL-CAI pode ser sobre-treinado até virar caricatura moralista. Com CoT, as probabilidades saturam e sem clamp em 40-60% o RL aprende respostas extremas. Os scores do preference model são mal calibrados nos valores altos, e o score absoluto de 0 a 4 depende do viés de cada rotulador. A comparação com o artigo anterior fica embaralhada por duas mudanças que os autores anotam: a instrução aos crowdworkers passou a penalizar evasão, e o fornecedor de anotação mudou.
Robustez a red team não foi resolvida — é declarada como motivação e trabalho futuro. E o método é dual use explícito: baixar a barreira para alinhar também baixa a barreira para treinar sistemas perniciosos, e facilita colocar em produção modelo que nenhum humano olhou de perto.
onde isso aparece hoje
RLAIF virou nome de categoria, e a formulação aqui — par de respostas, princípio, múltipla escolha, log-prob como preferência — é o ancestral direto do que hoje se chama de modelo-como-juiz em pipelines de dados sintéticos. Constitutional AI virou o método público de alinhamento do Claude, e a ideia de publicar a constituição em vez do dataset de rótulos é consequência direta do argumento de transparência do artigo. Os princípios e os few-shot prompts estão no repositório ConstitutionalHarmlessnessPaper.