o problema
Do trabalho em si chegou só o registro: título, três autores, SIGMOD Record 37(4), sete páginas, 2008. O que segue é o problema que esse título nomeia, não o argumento que o paper faz. Não vi o texto.
A web é escrita para ser lida por gente. HTML descreve aparência, não significado: uma célula de tabela com “1.299,00” é um número para o navegador, um preço para a pessoa e nada para um programa. Ao mesmo tempo, boa parte do que há de mais valioso na web já nasceu estruturado do outro lado — saiu de um banco de dados, virou página, e perdeu o esquema no caminho. Recuperar esse esquema depois é o problema. Ele é diferente de indexar texto, que foi o que a busca resolveu primeiro: indexar texto não exige saber que uma coluna é preço e a outra é modelo. Extrair estrutura exige.
O que “web-scale” acrescenta ao enunciado é a parte difícil. Extrair de um site é engenharia conhecida: alguém olha o HTML, escreve as regras, mantém as regras quando o site muda. Isso não escala para milhões de fontes que ninguém catalogou, com esquemas que ninguém combinou, em domínios que ninguém previu. Na escala da web, você não pode pressupor o alvo antes de encontrá-lo — e é por isso que o problema virou objeto de pesquisa em vez de tarefa de integração.
a ideia
O movimento embutido no título é abandonar a extração dirigida por alvo. Em vez de decidir de antemão o que se quer e ir buscar, o trabalho em escala vira o eixo: varre-se primeiro, e a estrutura que emergir define o que dá para responder. É a diferença entre encomendar um relatório e inventariar um depósito.
A consequência dessa inversão é que a qualidade deixa de ser binária. Uma extração dirigida a um site ou está certa ou está errada, e você conserta. Uma extração sobre a web inteira produz um acervo ruidoso, de cobertura desigual, em que o valor vem do volume e da redundância — o mesmo fato aparece em muitos lugares, e a concordância entre fontes passa a fazer o trabalho que o esquema fazia. Qual das frentes o paper defende, e com que argumento, o registro não diz.
o que isso custou
O custo maior aqui é do verbete, não do trabalho: sem o texto, não há como relatar o método, os experimentos, os números nem as limitações que os autores declararam. Se você precisa de qualquer uma dessas coisas, o caminho é o original — sete páginas, o que é curto.
O formato também impõe um limite ao que se pode esperar. Sete páginas no SIGMOD Record é tamanho de artigo de síntese ou de posição, não de descrição completa de sistema com avaliação. Quem abrir esperando arquitetura e tabela de resultados provavelmente vai encontrar um mapa do terreno e um argumento sobre para onde ir. Isso pode ser exatamente o que serve, se a pergunta for por que o problema é difícil — e pode ser insuficiente, se a pergunta for como implementar.
onde isso aparece hoje
Sem o texto, não dá para traçar linha de causa entre este trabalho e o que veio depois; qualquer afirmação nesse sentido seria chute. O que dá para fazer é situar o terreno.
O acervo tem vizinhos diretos, do ano anterior e da mesma área: Indexing Dataspaces trata de indexar coleções heterogêneas sem esquema combinado de antemão, que é a metade “como consultar” do mesmo problema, e Query logs alone are not enough trata do que o comportamento de busca revela e do que não revela sobre o que as pessoas querem.
O contraste mais útil está mais atrás. A Relational Model of Data for Large Shared Data Banks deu ao dado estruturado uma casa formal em 1970, com a condição de que alguém defina o esquema antes. A web quebrou essa condição — publicou-se primeiro, em escala, sem combinar nada. Todo o esforço que o título de 2008 nomeia é a tentativa de reconstruir depois o acordo que nunca houve.