o problema
Entre 2020 e 2022 formou-se um consenso desconfortável: modelos de linguagem teriam habilidades emergentes, definidas por Wei e colegas como habilidades ausentes em modelos menores e presentes em modelos grandes, e por isso impossíveis de prever extrapolando os menores. Duas propriedades davam o susto. Sharpness: o desempenho vai de nada para alguma coisa quase instantaneamente. Unpredictability: o salto acontece numa escala que ninguém sabe apontar antes.
Isso não era curiosidade acadêmica. Se capacidade aparece do nada, nenhuma avaliação em modelo pequeno diz o que o próximo modelo vai saber fazer, e a literatura de segurança levou o argumento a sério — a ideia de que um modelo maior poderia adquirir domínio sobre capacidades perigosas sem aviso vem daí. Havia também uma tensão nunca resolvida: as leis de escala descrevem a perda caindo como lei de potência, suave e previsível. Como uma curva suave produz um degrau?
a ideia
O degrau está no instrumento, não no fenômeno. A perda por token cai devagar e continuamente; quem transforma isso num salto é a métrica que o pesquisador escolheu para pontuar a saída. Uma métrica que exige que todos os tokens da resposta estejam certos multiplica a probabilidade por token entre si: ganho linear na qualidade do token vira ganho geométrico no placar, e num gráfico log-linear isso é um joelho. Uma métrica que dá 1 ou 0 conforme a opção de maior probabilidade seja a certa é literalmente uma função degrau aplicada a uma distribuição que se desloca devagar.
O argumento tem um segundo componente, menos glamouroso: modelos pequenos não têm acurácia zero, têm acurácia pequena demais para o tamanho do conjunto de teste. Com poucos exemplos, a menor diferença mensurável é grande, e o modelo pequeno aparece como incapaz quando é só imperceptível.
como funciona
O modelo matemático cabe em quatro linhas. Suponha que a cross entropy por token caia como lei de potência no número de parâmetros. Então a probabilidade de acertar um token é o exponencial negativo dessa perda, e sobe suavemente rumo a 1. Sob acurácia sobre L tokens, assumindo independência, o placar é essa probabilidade elevada a L — decaimento geométrico no comprimento do alvo. Sob token edit distance, o placar é aproximadamente L vezes a taxa de erro por token — decaimento quase linear. Mesma curva subjacente, dois formatos.
Daí saem três fatores interpretáveis para qualquer emergência observada: métrica que deforma não linear ou descontinuamente o erro por token, resolução insuficiente na faixa dos modelos pequenos, e amostragem esparsa na faixa dos grandes.
Os autores testam isso em três frentes. Primeiro, na família InstructGPT/GPT-3 acessível pela API (350 milhões, 1,3 bilhão, 6,7 bilhões e 175 bilhões de parâmetros), em multiplicação de dois inteiros de dois dígitos e soma de dois inteiros de quatro dígitos: mantendo as saídas fixas e trocando acurácia por token edit distance, a emergência some; gerando mais dados de teste, todos os modelos ficam acima do acaso mesmo sob acurácia. Segundo, na meta-análise do BIG-Bench: das 39 métricas preferidas, no máximo 5 exibem emergência, e nas anotações manuais duas métricas respondem por mais de 92% dos casos. Na família LaMDA, tarefas emergentes sob Multiple Choice Grade deixam de sê-lo sob Brier Score. Terceiro, a demonstração inversa: definindo uma métrica de reconstrução com limiar, autoencoders rasos no CIFAR100 ganham uma habilidade emergente; exigindo acerto em K de K imagens, LeNet no MNIST e transformers autorregressivos no Omniglot também ganham.
o que isso custou
O modelo matemático é declaradamente frouxo. A independência entre erros de tokens é falsa, a taxa de erro constante por token é empiricamente falsa, e uma das passagens é apresentada pelos próprios autores como uma aproximação que faria um matemático chorar. O que sustenta o argumento é a concordância qualitativa com os dados, não o rigor da derivação.
O escopo também é estreito por necessidade: só a família GPT era consultável publicamente. Para o resto, restou analisar números publicados e as saídas do LaMDA disponíveis no BIG-Bench — e os autores registram isso como queixa, dizendo que o progresso científico trava quando modelos e saídas não são públicos.
E o paper não fecha a questão. Ele afirma que a emergência pode ser criação do analista, não que llms sejam incapazes de emergir. Explicações concorrentes continuam de pé: leis de escala quebradas, em que a emergência é real e vem de mudança na lei de potência, e o modelo de quantização, em que ela é real sob hipóteses fortes sobre os dados.
onde isso aparece hoje
O alvo direto é Emergent Abilities of Large Language Models, e o efeito prático foi devolver a discussão para o terreno de Scaling Laws for Neural Language Models: se a perda escala suave, o ônus da prova é de quem afirma o degrau.
A parte que sobrevive fora da polêmica é metodológica, e é a mais útil para quem constrói avaliação. Tarefa e métrica são escolhas distintas e ambas carregam premissa. Quem escolhe acurácia exata precisa de dados suficientes para medi-la, porque a métrica força a distinguir quantidades que decaem rápido. E quem varre um espaço grande de tarefas e métricas está fazendo comparação múltipla, com tudo que isso implica. A mesma disciplina aparece em Define your success criteria e em Demystifying evals for AI agents, onde a régua é tratada como parte do experimento, não como detalhe de relatório.