antonio leandro

ia generativa

GPT-4 Technical Report

paper · OpenAI ·

a tese

o entregável técnico do gpt-4 não é o modelo, é a previsão: a openai acertou a loss final a partir de runs com 10.000 vezes menos compute — e, em troca, não contou nada sobre arquitetura, dados ou tamanho

o que fica

  1. A OpenAI previu a loss final do GPT-4 ajustando uma lei de potência em modelos treinados com até 10.000 vezes menos compute, e registrou a previsão logo depois de o run começar, sem usar resultados parciais.
  2. O RLHF quase não muda a capacidade bruta: a média do modelo base nos exames de múltipla escolha foi 73,7% contra 74,0% do modelo pós-RLHF.
  3. O pós-treino estraga a calibração: o modelo pré-treinado tem confiança bem alinhada com a chance de acerto, e o modelo alinhado perde isso.
  4. Passar na OAB não implica programar: o mesmo modelo que tira 298/400 no Uniform Bar Exam (~90º percentil) fica com rating 392 no Codeforces, abaixo do 5º percentil, e resolve 3 de 45 problemas Leetcode difíceis.
  5. Contaminação de teste é medida por substring match e nem sempre pode ser descontada: em GRE Writing e AP English Literature a contaminação bate 100% e 92%, e o número não contaminado simplesmente não existe.
  6. O relatório declara explicitamente que não informa arquitetura, tamanho, hardware, compute nem construção do dataset, citando concorrência e segurança — foi o marco em que o technical report de fronteira deixou de ser reprodutível.

o problema

Treinar um modelo de fronteira é uma aposta que você faz uma vez. Não dá para varrer hiperparâmetro num run desse tamanho, não dá para reiniciar porque a curva ficou torta, e o resultado só aparece no fim, meses e muito dinheiro depois. Até aqui, a decisão de escalar era feita no escuro: você confia que a lei de potência continua valendo, aperta o botão e espera. Se a infra tem um bug numérico que só aparece em escala, você descobre tarde.

O segundo problema é saber o que saiu do forno. Os benchmarks de NLP tinham virado uma corrida de números onde o líder da tabela quase sempre tinha treino específico para aquela tarefa, e onde o conjunto de teste tem chance real de estar dentro do corpus de pré-treino — o corpus é a internet, e o teste foi publicado na internet. Um número de MMLU sozinho não diz se o sistema serve para alguma coisa, e pode nem estar medindo o que promete.

a ideia

Duas jogadas, e a segunda é mais interessante que a primeira.

A primeira: transformar o escalonamento em previsão registrada. Em vez de tratar a lei de escala como folclore, a equipe ajustou a curva em modelos pequenos, escreveu a previsão antes do fato e depois conferiu contra o run real. Não é uma técnica nova de treino — é disciplina de método aplicada a um sistema caro demais para ser depurado empiricamente.

A segunda: parar de avaliar o modelo contra outros modelos e avaliá-lo contra provas feitas para humanos, com nota, rubrica e percentil. OAB simulada, LSAT, SAT, GRE, provas de AP, exames de sommelier, MKSAP de medicina. O ponto não é o troféu: é que essas provas vêm com uma escala de referência que ninguém montou pensando em modelo de linguagem, e com uma distribuição de notas humanas publicada.

como funciona

A previsão de loss usa L(C) = a·C^b + c — lei de potência no compute com um termo de loss irredutível. A curva foi ajustada em modelos treinados com a mesma metodologia e até 10.000 vezes menos compute, e a métrica escolhida foi loss num dataset derivado da base de código interna, fora do treino, porque loss é menos ruidosa que qualquer métrica de capacidade.

Para capacidade, o alvo foi o pass rate em HumanEval, com a relação -E[log(pass_rate(C))] = α·C^-k. Os problemas foram divididos em seis faixas de dificuldade segundo o desempenho dos modelos pequenos, descartadas as quinze mais difíceis, e a extrapolação partiu de runs com até 1.000 vezes menos compute.

A avaliação de exames é prosaica e vale conhecer: few-shot com explicações modelo, resposta de múltipla escolha amostrada a temperatura 0,3, dissertativas a 0,6 e corrigidas por avaliadores terceirizados. Imagens em questões dissertativas foram transcritas em texto. A checagem de contaminação normaliza texto, sorteia três trechos de 50 caracteres por questão e procura como substring no treino; o que casa é descartado e a prova roda de novo.

No pós-treino, além do RLHF, entram os RBRMs: classificadores GPT-4 zero-shot que recebem o prompt, a resposta da policy e uma rubrica escrita por humano, e classificam a saída — recusa no estilo certo, recusa evasiva, conteúdo proibido, resposta segura. Essa classificação vira sinal de recompensa extra, inclusive para punir recusa de pedido inofensivo.

o que isso custou

O relatório diz, em texto: nada sobre arquitetura, tamanho, hardware, compute de treino ou construção do dataset. Um technical report que não permite reproduzir nem estimar nada. Tudo aqui é a palavra da OpenAI sobre os próprios números.

A previsão funcionou onde dava para medir. No bucket mais fácil de HumanEval o modelo ficou abaixo do previsto, e problemas individuais chegam a piorar com escala. A contaminação em alguns exames é alta demais para ser descontada: GRE Writing 100%, AP English Literature 92%, LSAT 39%. E parte do treino de GSM-8K foi misturada ao pré-treino de propósito — os próprios autores pedem que os 92,0% sejam lidos como algo entre transferência few-shot e tuning específico.

O resto das limitações é a lista conhecida, agora com número: alucina, erra raciocínio simples, aceita afirmação falsa do usuário, não aprende com experiência, e o conhecimento para em setembro de 2021. Em DROP, o único dos benchmarks reportados, sistemas com tuning específico continuam à frente. Jailbreak continua possível — a mitigação de modelo aumenta o custo do ataque, não o elimina, e por isso o texto insiste em monitoramento em deploy.

onde isso aparece hoje

O formato pegou. Depois deste relatório, “technical report” de modelo de fronteira virou um documento sobre avaliação e segurança, com system card anexo, e sem os detalhes que fariam dele um paper. A ideia de registrar previsões de capacidade antes do treino, que o texto propõe como objetivo comum do campo, virou parte do vocabulário de governança de modelos grandes. O OpenAI Evals foi aberto junto, como framework para rodar esse tipo de avaliação amostra a amostra.

lido na íntegra por pipeline de llm, revisado por antonio leandro antes de publicar ·