o problema
O objetivo do pré-treino é prever o próximo token de uma página da internet. O objetivo que se quer de um produto é “faça o que o usuário pediu, sem mentir e sem causar dano”. São coisas diferentes, e aumentar o modelo não aproxima uma da outra: um modelo maior fica melhor em continuar texto, não em obedecer. Na prática isso aparece como fato inventado, saída tóxica, restrição explícita ignorada (“responda em dois parágrafos” e vêm oito).
Havia duas saídas conhecidas em 2022. Uma era prompt few-shot: colocar exemplos antes da instrução e torcer. Funciona, mas é frágil e empurra o custo para o usuário. A outra era treinar em coleções públicas de tarefas de NLP com instruções em linguagem natural, como FLAN e T0. O problema dessas coleções é que elas foram montadas em torno de tarefas que dá para avaliar com métrica automática — classificação, QA, tradução. Pelos dados do próprio paper, isso é cerca de 18% do que os clientes da API realmente pedem; geração aberta e brainstorming somam uns 57%.
a ideia
Ninguém sabe escrever uma função de perda para “resposta útil”. Mas quase todo mundo consegue olhar quatro respostas e ordená-las. Então o movimento é indireto: transformar julgamento humano em dados de comparação, treinar um modelo que prevê essas comparações, e usar esse modelo como função de recompensa para o ajuste por reinforcement learning.
O reward model é o que torna a coisa viável em escala. A pessoa rotula dezenas de milhares de prompts, uma vez; o reward model é consultado milhões de vezes durante o RL. É um juiz aprendido, barato de chamar. Todo o resto do método é engenharia para que esse juiz não seja enganado pela política que ele avalia.
como funciona
Três etapas, todas partindo dos modelos GPT-3 pré-treinados (1,3B, 6B e 175B), com cerca de 40 contratados selecionados por um teste de triagem.
SFT. Labelers escrevem a resposta desejada para 13 mil prompts (parte escrita por eles, parte vinda do Playground da API). Fine-tuning supervisionado por 16 épocas, dropout residual de 0,2. Os autores notam que o modelo dá overfit na loss de validação depois de uma época, mas continuar treinando ainda melhora o score do reward model e a preferência humana — a loss de validação não é o critério de seleção aqui.
Reward model. Parte do SFT com a camada de unembedding trocada por uma projeção escalar. Para cada prompt o labeler ordena entre 4 e 9 respostas, o que dá C(K,2) comparações. A loss é o log-sigmoid da diferença de recompensa entre a resposta preferida e a rejeitada. Um detalhe que vale copiar: todas as comparações de um mesmo prompt entram como um único elemento de batch. Embaralhá-las no dataset faz cada completion participar de K−1 updates e o modelo dá overfit em uma passada. Agrupando, basta um forward por completion e a acurácia de validação sobe. Usaram um RM de 6B para todos os tamanhos de política — o de 175B treinava de forma instável e encarecia o PPO.
PPO. Ambiente de bandit: chega um prompt, o modelo responde, o RM dá a recompensa, o episódio acaba. Uma penalidade de KL por token contra o modelo SFT (β = 0,02) segura a over-optimization do reward model. A value function é inicializada a partir do RM. A variante PPO-ptx — o que o paper chama de InstructGPT — soma ao objetivo um termo de log-likelihood sobre a distribuição de pré-treino, com coeficiente γ = 27,8.
O resultado principal: as saídas do InstructGPT de 175 bilhões são preferidas às do GPT-3 em 85 ± 3% das vezes, e em 71 ± 4% contra GPT-3 com prompt few-shot. Contra as versões treinadas em FLAN e T0, 78 ± 4% e 79 ± 4%.
o que isso custou
O alignment tax. O PPO puro piora o desempenho em SQuAD, DROP, HellaSwag e tradução WMT 2015 francês-inglês. Misturar gradientes de pré-treino corrige a maior parte, mas o PPO-ptx ainda fica atrás do GPT-3 em DROP, SQuADv2 e tradução. Os autores tratam isso como problema aberto, e o argumento importa: técnica de alinhamento com imposto alto não é adotada.
Viés não melhora. Em Winogender e CrowS-Pairs o modelo não fica menos enviesado; instruído a agir com respeito, exibe entropia menor, ou seja, mais certeza — sem que o padrão dessa certeza seja claro. E, quando explicitamente instruído a produzir saída tóxica, gera algo mais tóxico que o GPT-3 equivalente. Essa é a limitação que os próprios autores chamam de maior: o modelo segue a instrução do usuário mesmo quando seguir causa dano no mundo real. Durante o treino, helpfulness foi priorizada sobre truthfulness e harmlessness.
Erros simples continuam. O modelo aceita premissa falsa (“por que é importante comer meias depois de meditar?” ganha uma resposta séria), faz hedging excessivo em pergunta que tem resposta clara — suspeita dos autores: instruíram os labelers a premiar humildade epistêmica, e o RM aprendeu isso — e piora quando a instrução tem várias restrições explícitas.
E há a questão de quem é o “humano” do human feedback. Cerca de 40 contratados, na maioria falantes de inglês nos EUA ou no sudeste asiático, mais de 96% dos dados em inglês, concordância entre anotadores em torno de 73%, e a maior parte das comparações rotulada por uma pessoa só, por custo. Os prompts vêm de clientes que entraram por uma waitlist cuja semente foram funcionários da OpenAI.
onde isso aparece hoje
Este é o paper que fixou o pipeline SFT → reward model → PPO como o passo entre um modelo pré-treinado e um produto de chat, e o ChatGPT é o descendente direto dele. O vocabulário também ficou: alignment tax, reward model, penalidade de KL contra a política de referência, o tripé helpful/honest/harmless.
Vale notar o que o próprio texto deixa como trabalho futuro, porque virou prática comum depois: treinar o modelo para recusar certas instruções (que aqui ainda não existe — o InstructGPT obedece), coleta adversarial de dados para os casos de premissa falsa, e filtrar por toxicidade a mistura de pré-treino usada no PPO-ptx. O paper também registra que o custo de alinhar é pequeno perto do de pré-treinar, o que é o argumento econômico por trás de toda a indústria de pós-treino que veio depois.