o problema
Até aqui a escala tinha uma promessa boa de vender: aumente compute, parâmetros e dados e a loss de cross-entropy cai de forma previsível. Kaplan e Hoffmann mostraram curvas que atravessam mais de sete ordens de grandeza. Isso é planejamento: dá para orçar um treino e saber mais ou menos o que sai do outro lado.
Só que a loss não é o produto. O que se entrega é desempenho em tarefa — somar três dígitos, responder em persa, escolher o sentido certo de uma palavra no contexto. E aí a curva bonita some. Havia resultados soltos em que modelos ficavam em desempenho de chute por várias ordens de grandeza de compute e depois disparavam, sem aviso. Pior: havia resultados negativos que foram lidos errado. No WiC, o GPT-3 175B não passou do acaso, e os autores do GPT-3 culparam a arquitetura decoder-only e o objetivo autorregressivo, sugerindo um modelo bidirecional como remédio. Não era isso. Bastou escalar o PaLM até 2,5 × 10²⁴ FLOPs (540B) para a tarefa destravar, sem nenhuma mudança de arquitetura. Faltava nome para o fenômeno e faltava um catálogo.
a ideia
O paper não propõe modelo nem método — é survey, e os autores dizem isso. Ele faz duas coisas: dá uma definição estreita o bastante para ser usada e junta as curvas espalhadas pela literatura num lugar só.
A definição vem de “More Is Different”, de Philip Anderson: mudança quantitativa no sistema produzindo mudança qualitativa de comportamento. Aplicada a modelo de linguagem, vira uma frase operacional: uma habilidade é emergente se não está presente nos modelos menores e está presente nos maiores. O critério não é filosófico, é gráfico — plote escala no eixo x e desempenho no y; se a curva fica colada no acaso e depois sobe forte, é transição de fase. A consequência é o ponto todo: extrapolar os modelos pequenos não prevê isso.
como funciona
Cada ponto do gráfico é um modelo separado, e o eixo x é FLOPs de treino (o apêndice repete tudo com contagem de parâmetros, e as curvas têm forma parecida porque compute e parâmetros escalam mais ou menos juntos em transformer denso).
Os números do catálogo: aritmética de três dígitos salta em 2 × 10²² FLOPs (13B) no GPT-3 e 10²³ (68B) no LaMDA. MMLU fica em chute para modelos de ~10²² FLOPs ou menores e só passa do acaso entre 3 e 5 × 10²³ (70B–280B). TruthfulQA só sobe 20 pontos acima do acaso no Gopher 280B. A Tabela 1 lista mais de vinte casos com escala de emergência.
O paper estende a definição para técnicas: se um método não ajuda — ou atrapalha — até certo tamanho, o método também é emergente. Chain-of-thought só bate o prompting padrão a partir de 10²³ FLOPs. Instruction finetuning degrada modelos de 7 × 10²¹ FLOPs (8B) para baixo. Scratchpad para soma de oito dígitos só ajuda de 40M para cima. Calibração via P(True) só ganha do método padrão em 52B.
Para saber que tipo de tarefa emerge, dois coautores classificaram na mão as 210 tarefas do BIG-Bench em emergente, suave, plana ou outra. As categorias com maior fração de emergência foram raciocínio analógico, desambiguação de sentido, veracidade, raciocínio social e compreensão emocional. Aritmética e matemática ficaram baixas, o que contraria a intuição, já que os primeiros exemplos de emergência eram justamente somas.
o que isso custou
A objeção mais forte está dentro do próprio paper. Exact match não dá crédito parcial, então melhora incremental pode ficar escondida até virar salto artificial. Os autores mediram a cross-entropy loss nas seis tarefas emergentes do BIG-Bench e confirmaram: a loss melhora nas escalas em que a métrica de tarefa está no acaso. A defesa deles é que emergência também aparece em tarefas de classificação e com métricas de crédito parcial como BLEU, ROUGE e BLEURT. É uma defesa parcial, e eles admitem: a análise não explica por que a métrica de tarefa salta nem permite prever em que escala.
O resto dos limites é honesto na mesma medida. O limiar não é propriedade da habilidade — dados melhores, outra arquitetura ou outro objetivo de pré-treino mudam onde ele fica. Instruction following, que exigia 68B decoder-only, foi induzido depois num encoder-decoder de 11B, e o InstructGPT de 1,3B ganhou de modelos bem maiores em avaliação humana. A classificação das tarefas é subjetiva e os autores dizem isso. E escalar não garante nada: uma habilidade pode emergir e estacionar, ou nunca emergir, se a tarefa estiver longe demais da distribuição de treino.
Há ainda o custo que não é técnico. Risco emerge também. Memorização de dados de treino cresce com o tamanho, viés no BBQ pode aumentar em contextos ambíguos, e o GPT-3 imitava mais falsidades humanas quanto maior ficava. Como o paper incentiva escalar, ele carrega a seção.
onde isso aparece hoje
O termo pegou. “Habilidade emergente” virou o argumento padrão para justificar o próximo treino grande — se não dá para prever, a única forma de descobrir é treinar. As curvas do paper são as do gpt-3, do chinchilla e do palm, lidas contra a previsibilidade prometida pelas leis de escala.
As três técnicas que ele classifica como emergentes seguiram cada uma seu caminho: cadeia de pensamento, instruction finetuning e o InstructGPT, que já mostrava que o limiar cede quando se muda o método.
E a objeção da métrica, que aqui aparece como ressalva de apêndice, virou paper próprio no ano seguinte: Are Emergent Abilities of Large Language Models a Mirage? atacou exatamente o ponto que estes autores levantaram e não fecharam.