o problema
Deep RL só funcionava bem onde alguém conseguia escrever a recompensa. Atari tem placar, Go tem vitória e derrota, e daí saíram os resultados de 2015 e 2016. Agora tente escrever a recompensa de “limpar a mesa” ou “mexer um ovo” como função dos sensores do robô. Você consegue escrever uma aproximação, e o agente vai otimizar exatamente essa aproximação — não o que você queria. É o problema de misalignment na sua forma mais banal e mais cara.
As saídas conhecidas não serviam. Inverse RL e imitation learning precisam de demonstração, e há comportamento que o humano reconhece mas não sabe demonstrar: controlar um robô com dezenas de graus de liberdade e morfologia nada humana, por exemplo. A alternativa óbvia — o humano dar a recompensa a cada passo — esbarra em aritmética: um agente de Atari precisa de milhares de horas de experiência. Para o feedback humano caber no orçamento, era preciso reduzi-lo em várias ordens de grandeza.
a ideia
Separar o que o humano faz bem do que custa caro. O humano não pontua nem demonstra: ele assiste a dois clipes curtos do próprio agente e diz qual é melhor. Essas comparações treinam, por aprendizado supervisionado, uma rede que estima a recompensa; o agente otimiza a estimativa com RL comum. O humano entra uma vez a cada centenas de passos, a rede de recompensa entra em todos.
A analogia é dos próprios autores e é honesta: Elo. A diferença de pontos entre dois enxadristas estima a probabilidade de um vencer o outro; aqui, a diferença de recompensa prevista entre dois trechos estima a probabilidade de o humano escolher um deles.
como funciona
Três processos rodam assíncronos: a política interage com o ambiente maximizando a recompensa predita, pares de segmentos saem dessas trajetórias para o humano comparar, e o modelo de recompensa é reajustado às comparações acumuladas. Os parâmetros voltam para o primeiro processo. Nada espera nada.
O modelo de preferência é Bradley-Terry sobre a soma da recompensa predita ao longo do clipe:
P[σ1 ≻ σ2] = exp(Σ r̂(σ1)) / (exp(Σ r̂(σ1)) + exp(Σ r̂(σ2)))
loss(r̂) = − Σ μ(1)·log P[σ1 ≻ σ2] + μ(2)·log P[σ2 ≻ σ1]μ é a resposta do humano: massa toda num lado, uniforme se ele marcou empate, e a comparação é descartada se ele marcou “não sei dizer”. Sem desconto na soma — o modelo trata o humano como indiferente a quando as coisas acontecem dentro do clipe.
Em cima disso vêm três remendos que os autores dizem ter descoberto empiricamente: um ensemble de três preditores treinados em amostras bootstrap do banco de comparações, com normalização individual e média; regularização ℓ2 com coeficiente ajustado para manter a perda de validação entre 1,1 e 1,5 vez a de treino, sobre 1/e dos dados retidos; e a hipótese de que o humano responde ao acaso 10% das vezes, porque a taxa de erro humano não vai a zero por mais óbvia que seja a diferença. As perguntas enviadas ao humano são as de maior variância entre os membros do ensemble.
A política usa A2C no Atari e TRPO no MuJoCo, com hiperparâmetros padrão — o único ajustado foi o bônus de entropia, porque a recompensa não é estacionária e o trust region sozinho para de explorar. A recompensa predita é normalizada, os rótulos são anelados ao longo do treino, e no Atari só os últimos 3.000 rótulos ficam no buffer, para o preditor não afogar dados novos em dados velhos.
Vale reparar no cuidado cirúrgico com o ambiente: o placar na tela do Atari é apagado, e todas as condições de término variáveis viram penalidade que o agente precisa aprender. Sem isso, o ambiente estaria contrabandeando a tarefa para dentro do agente.
o que isso custou
No MuJoCo, 700 rótulos quase empatam com o RL que enxerga a recompensa. No Atari, 5.500 rótulos não bastam: em SpaceInvaders e Breakout o método nunca alcança o RL, e no Qbert ele falha em passar da primeira fase com humanos reais — clipes curtos de Qbert são difíceis de avaliar. O treino é menos estável e de variância mais alta em todo lugar.
A seleção de perguntas por discordância, que parece a parte esperta, às vezes atrapalha; os autores a chamam de aproximação grosseira e deixam o critério certo (valor esperado de informação) para trabalho futuro. O feedback humano vira reward shaping sem pedir licença: no Ant, mandar os avaliadores preferirem o robô “em pé” superou o oráculo sintético; no Enduro, os humanos recompensam qualquer progresso e batem o A3C. Ótimo quando o viés do avaliador aponta para onde você quer, e é exatamente o mesmo mecanismo quando aponta para outro lugar.
E a conclusão desconfortável dos próprios autores: reduzir mais a quantidade de feedback já rende pouco, porque o custo de computação está na mesma ordem do custo do rotulador não especialista.
onde isso aparece hoje
O pipeline inteiro — comparações par a par, perda de Bradley-Terry sobre um modelo de recompensa, política otimizando esse modelo — é a receita que passou a ser usada para alinhar modelos de linguagem, trocando clipes de vídeo por pares de respostas. A lição do experimento offline também sobreviveu: modelo de recompensa congelado é modelo de recompensa que a política aprende a explorar, e a longa troca de bolas no Pong é a mesma coisa que hoje se chama reward hacking.