o problema
Por volta de 2007, query log era o dado mais barato e mais abundante que uma equipe de busca tinha à mão. Cada consulta digitada, cada clique, cada reformulação, com timestamp e sessão, gravados sem recrutar ninguém, sem pagar participante, sem laboratório e sem o incômodo de alguém saber que está sendo observado. Ao lado disso, um estudo com vinte pessoas numa sala parecia artesanato caro e lento. A conclusão prática veio sozinha: o log virou a fonte padrão para responder qualquer pergunta sobre usuário — o que ele queria, se ficou satisfeito, se o ranking melhorou.
O problema é que o log grava rastro, não objetivo. Ele registra que alguém digitou uma sequência de caracteres e clicou no terceiro resultado. Não registra o que essa pessoa estava tentando fazer, se conseguiu, o que teria perguntado se soubesse o vocabulário da área, nem o que aconteceu depois que ela fechou a aba. Cada evento admite leituras opostas com o mesmo grau de plausibilidade. Um clique pode ser acerto ou isca. Uma reformulação pode ser refinamento de quem está no caminho certo ou tateio de quem se perdeu. Uma sessão longa pode ser leitura atenta ou telefone que tocou. O log não desempata, e a escala não desempata por ele.
a ideia
O material disponível deste trabalho é o título, os autores e o local de publicação; o resumo não veio junto. O que segue trata do argumento que o título sustenta, não da evidência que os autores apresentam para ele.
A palavra que carrega o título é alone. A afirmação não é que log não serve — é que log sozinho não fecha uma conclusão sobre intenção. Isso é uma afirmação sobre instrumento, não sobre dado. O log mede frequência, sequência e distribuição com uma precisão que nenhum outro método de estudo de usuário alcança, e mede propósito com precisão zero. Perguntar ao log por que alguém buscou algo é medir temperatura com régua: sai um número, e o número é sobre outra coisa.
O que essa posição pede em troca é evidência de outro tipo apontada para a mesma pergunta — entrevista, observação em campo, estudo em laboratório, pesquisa declarada. Nenhuma delas é melhor que o log. Todas são piores em escala e algumas são piores em confiabilidade. O ponto é que erram em direção diferente. Quando o log e a observação convergem, a conclusão ganha peso; quando divergem, você acabou de descobrir que ia publicar uma interpretação inventada.
Vale registrar onde isso foi dito: num workshop do WWW 2007 dedicado justamente a análise de query log, por pesquisadores de uma empresa cujo negócio central era busca. É crítica de dentro da sala, feita por gente que não sofria de escassez de dados.
o que isso custou
O preço da posição é que ela é fácil de aceitar e difícil de executar. Um título afirma que o log não basta, mas não diz quanto basta: não existe limiar, não existe protocolo que diga quantas horas de observação compram o direito de interpretar um pico no gráfico. Sem isso, a recomendação vira um pedido de cuidado, e pedido de cuidado perde para dashboard toda vez. O log está pronto amanhã de manhã; o estudo de campo leva seis semanas e volta com doze pessoas.
E os métodos propostos como complemento carregam o defeito simétrico. Quem entrevista usuário coleta relato, e relato é reconstrução: a pessoa conta uma história coerente sobre uma decisão que não foi coerente. Trocar a ambiguidade do clique pela ambiguidade da autodescrição não resolve nada — só troca a direção do erro, que é precisamente o motivo pelo qual a saída é usar os dois e não substituir um pelo outro.
Sobre as limitações que os próprios autores declaram, não posso dizer nada: o texto do trabalho não está disponível aqui, e inventar uma lista de ressalvas plausíveis seria cometer o erro que o paper denuncia.
onde isso aparece hoje
A tensão não envelheceu, mudou de nome. Comportamento agregado como sinal de qualidade é a base do ranking desde The Anatomy of a Large-Scale Hypertextual Web Search Engine, e sistemas inteiros de recomendação foram construídos em cima de clique, como o Google News Personalization. O contraponto clássico está em Telling More Than We Can Know, que mostra que perguntar às pessoas por que fizeram algo também não devolve a resposta verdadeira — os dois trabalhos, juntos, delimitam o problema pelos dois lados. A saída prática de quem entrevista mesmo assim está em O Teste da Mãe: pergunte sobre comportamento passado, não sobre intenção futura.
Em produto de ia, o query log virou o log de conversa, com joinha e taxa de aceitação de sugestão no lugar do clique. As mesmas leituras opostas continuam disponíveis para o mesmo evento, o que é o argumento por trás de Define your success criteria e de Demystifying evals for AI agents: sinal implícito de uso mede engajamento e não mede acerto, e alguém precisa olhar as amostras à mão para saber qual dos dois o gráfico está subindo.