o problema
Treinar um modelo de fronteira é uma aposta que você faz uma vez. Não dá para varrer hiperparâmetro num run desse tamanho, não dá para reiniciar porque a curva ficou torta, e o resultado só aparece no fim, meses e muito dinheiro depois. Até aqui, a decisão de escalar era feita no escuro: você confia que a lei de potência continua valendo, aperta o botão e espera. Se a infra tem um bug numérico que só aparece em escala, você descobre tarde.
O segundo problema é saber o que saiu do forno. Os benchmarks de NLP tinham virado uma corrida de números onde o líder da tabela quase sempre tinha treino específico para aquela tarefa, e onde o conjunto de teste tem chance real de estar dentro do corpus de pré-treino — o corpus é a internet, e o teste foi publicado na internet. Um número de MMLU sozinho não diz se o sistema serve para alguma coisa, e pode nem estar medindo o que promete.
a ideia
Duas jogadas, e a segunda é mais interessante que a primeira.
A primeira: transformar o escalonamento em previsão registrada. Em vez de tratar a lei de escala como folclore, a equipe ajustou a curva em modelos pequenos, escreveu a previsão antes do fato e depois conferiu contra o run real. Não é uma técnica nova de treino — é disciplina de método aplicada a um sistema caro demais para ser depurado empiricamente.
A segunda: parar de avaliar o modelo contra outros modelos e avaliá-lo contra provas feitas para humanos, com nota, rubrica e percentil. OAB simulada, LSAT, SAT, GRE, provas de AP, exames de sommelier, MKSAP de medicina. O ponto não é o troféu: é que essas provas vêm com uma escala de referência que ninguém montou pensando em modelo de linguagem, e com uma distribuição de notas humanas publicada.
como funciona
A previsão de loss usa L(C) = a·C^b + c — lei de potência no compute com um termo de loss irredutível. A curva foi ajustada em modelos treinados com a mesma metodologia e até 10.000 vezes menos compute, e a métrica escolhida foi loss num dataset derivado da base de código interna, fora do treino, porque loss é menos ruidosa que qualquer métrica de capacidade.
Para capacidade, o alvo foi o pass rate em HumanEval, com a relação -E[log(pass_rate(C))] = α·C^-k. Os problemas foram divididos em seis faixas de dificuldade segundo o desempenho dos modelos pequenos, descartadas as quinze mais difíceis, e a extrapolação partiu de runs com até 1.000 vezes menos compute.
A avaliação de exames é prosaica e vale conhecer: few-shot com explicações modelo, resposta de múltipla escolha amostrada a temperatura 0,3, dissertativas a 0,6 e corrigidas por avaliadores terceirizados. Imagens em questões dissertativas foram transcritas em texto. A checagem de contaminação normaliza texto, sorteia três trechos de 50 caracteres por questão e procura como substring no treino; o que casa é descartado e a prova roda de novo.
No pós-treino, além do RLHF, entram os RBRMs: classificadores GPT-4 zero-shot que recebem o prompt, a resposta da policy e uma rubrica escrita por humano, e classificam a saída — recusa no estilo certo, recusa evasiva, conteúdo proibido, resposta segura. Essa classificação vira sinal de recompensa extra, inclusive para punir recusa de pedido inofensivo.
o que isso custou
O relatório diz, em texto: nada sobre arquitetura, tamanho, hardware, compute de treino ou construção do dataset. Um technical report que não permite reproduzir nem estimar nada. Tudo aqui é a palavra da OpenAI sobre os próprios números.
A previsão funcionou onde dava para medir. No bucket mais fácil de HumanEval o modelo ficou abaixo do previsto, e problemas individuais chegam a piorar com escala. A contaminação em alguns exames é alta demais para ser descontada: GRE Writing 100%, AP English Literature 92%, LSAT 39%. E parte do treino de GSM-8K foi misturada ao pré-treino de propósito — os próprios autores pedem que os 92,0% sejam lidos como algo entre transferência few-shot e tuning específico.
O resto das limitações é a lista conhecida, agora com número: alucina, erra raciocínio simples, aceita afirmação falsa do usuário, não aprende com experiência, e o conhecimento para em setembro de 2021. Em DROP, o único dos benchmarks reportados, sistemas com tuning específico continuam à frente. Jailbreak continua possível — a mitigação de modelo aumenta o custo do ataque, não o elimina, e por isso o texto insiste em monitoramento em deploy.
onde isso aparece hoje
O formato pegou. Depois deste relatório, “technical report” de modelo de fronteira virou um documento sobre avaliação e segurança, com system card anexo, e sem os detalhes que fariam dele um paper. A ideia de registrar previsões de capacidade antes do treino, que o texto propõe como objetivo comum do campo, virou parte do vocabulário de governança de modelos grandes. O OpenAI Evals foi aberto junto, como framework para rodar esse tipo de avaliação amostra a amostra.