o problema
Num agente com ferramentas, o loop é apertado: o modelo pede uma chamada, recebe o resultado, emite a próxima ação. Nada nesse ciclo obriga uma parada para conferir se a regra que vale aqui é a de cancelamento em 24 horas ou a de tarifa não reembolsável, se o id do usuário já foi coletado, se a combinação de formas de pagamento é permitida. Em domínio com política densa, o erro não é de raciocínio abstrato: é de checklist não percorrido.
O τ-bench mede exatamente isso, em cenários de atendimento com usuário simulado, política de agente e um banco de dados manipulável por ferramentas. A métrica é pass^k — a probabilidade de que todas as k tentativas independentes de uma tarefa deem certo, não a de que ao menos uma dê. É uma métrica de consistência, e é cruel: no domínio airline, o baseline do Claude 3.7 Sonnet faz 0,332 em pass^1 e desaba para 0,100 em pass^5. Extended thinking já existia e ajuda, mas ele opera antes de o modelo começar a responder. Quando a informação que muda tudo chega no meio, dentro de um tool result, o plano já foi feito.
a ideia
Criar uma ferramenta que não faz nada. A descrição dela diz isso com todas as letras: não obtém informação nova, não altera o banco, apenas anexa o pensamento ao log. O modelo pode chamá-la quando quiser, e chamar é a única coisa que acontece.
O valor está no lugar que ela ocupa. O modelo já sabe pedir ferramenta e ler resposta; esse canal vira um espaço de rascunho no meio da cadeia, sem mudar modelo, decoder ou API. Não é raciocínio mais profundo — o próprio post diz que o que sai dali é menos abrangente que extended thinking e mais colado na informação recém-descoberta. É um ponto de parada.
como funciona
A definição usada é a que vem do ambiente padrão do τ-bench: um schema com uma única propriedade obrigatória, thought, do tipo string, e a descrição instruindo o uso quando houver raciocínio complexo ou necessidade de memória de rascunho. Na adaptação para SWE-bench, a descrição muda de domínio e ganha exemplos: se você explorou o repositório e achou a origem do bug, chame a ferramenta para levantar várias formas de corrigir e avaliar qual é a mais simples e efetiva; se recebeu resultado de teste, use para pensar em como consertar o que falhou.
A parte que carrega o resultado é o prompt. No domínio airline, a instrução manda usar o think como scratchpad antes de qualquer ação depois de receber tool results, para listar as regras que se aplicam ao pedido, checar se toda a informação necessária foi coletada, verificar se a ação planejada respeita as políticas e revisar os resultados das ferramentas. Junto vêm dois exemplos longos, em tags, mostrando o nível de detalhe esperado: um cancelamento com as condições a verificar, uma reserva com o cálculo de bagagem por tier de membro e as regras de combinação de pagamento. Quando essa orientação é longa, a recomendação é colocá-la no system prompt, não na descrição da ferramenta.
o que isso custou
O ganho não é da ferramenta, é do par ferramenta+prompt, e o número que mostra isso é o pass^5 do airline: think com prompt otimizado faz 0,340; think sozinho faz 0,100 — o mesmo do baseline. A ferramenta nua melhora o pass^1 (0,404 contra 0,332) e some quando você pede consistência. No retail, onde a política é mais simples, a ferramenta sozinha basta (0,812 contra 0,783), e extended thinking fica abaixo do baseline, em 0,770.
Fora disso, os autores listam onde não adianta: chamada única ou chamadas paralelas não sequenciais, e instrução simples em que o comportamento padrão já resolve. O custo declarado é prompt mais longo e mais tokens de saída. Em SWE-bench, onde a ferramenta entrou na configuração que atingiu 0,623, o efeito isolado medido foi de 1,6% em média, com amostras desbalanceadas (n = 30 com a ferramenta, n = 144 sem).
Vale registrar duas inconsistências. O texto do post cita 0,570 contra 0,370 no airline, e a tabela do mesmo post traz 0,584 contra 0,332. E, em dezembro de 2025, a Anthropic anexou ao próprio artigo a recomendação de usar extended thinking no lugar da “think” tool na maioria dos casos — o benefício é parecido, com integração melhor.
onde isso aparece hoje
A técnica foi absorvida pelo que ela mesma comparava: o pensamento estendido hoje é o caminho recomendado, e o post virou documento histórico com nota de depreciação em cima. O que sobreviveu é menor e mais durável: a descrição de uma ferramenta é superfície de prompt, e o que o modelo escreve dentro dela depende de você ter mostrado exemplos — a mesma lição que reaparece em escrever ferramentas eficazes. E a configuração de SWE-bench que produziu o 0,623 incluía essa ferramenta, o que é um lembrete de que placar de benchmark é placar de harness, não só de modelo.