o problema
Já existe muita medida de quanto um modelo ajuda numa tarefa isolada: escrever a função, resumir o documento, responder o chamado. O que quase não existe é medida de trabalho contínuo — o modelo tocando uma coisa sozinho por dias ou semanas, com estado acumulado, consequência financeira e gente reclamando no meio. A utilidade econômica de um agente depende exatamente disso, e é justamente o que uma eval de turno único não captura.
A Andon Labs tinha construído o Vending-Bench, um teste em que modelos administram uma máquina de vender simulada. Simulação é barata e repetível, mas o mundo simulado não tem funcionário pedindo cubo de tungstênio de brincadeira, nem geladeira de graça a três metros do produto pago. A pergunta que sobrou foi se o resultado de laboratório atravessa para o físico. A Anthropic escolheu um negócio deliberadamente simples: se o modelo não dá conta de uma lojinha de escritório, “vibe management” não vai acontecer tão cedo.
a ideia
Montar um negócio real, pequeno o suficiente para caber num prompt e grande o suficiente para machucar. Uma instância do Claude Sonnet 3.7 — apelidada de Claudius — recebeu um saldo inicial, um espaço no escritório de San Francisco e a instrução de gerar lucro sem zerar o caixa. Tudo que exigia corpo era terceirizado: a Andon Labs cobrava por hora de trabalho físico para reabastecer e inspecionar, e perguntas eram de graça.
A loja em si é quase uma piada visual: um frigobar, cestos empilháveis em cima e um iPad de autoatendimento. O que estava em teste não era vender, era decidir. O que estocar, por quanto, quando repor, o que responder para o cliente e quando parar de ceder.
como funciona
Claudius tinha busca na web para pesquisar produtos e fornecedores; uma ferramenta de e-mail para pedir trabalho físico e falar com atacadistas — a Andon Labs fazia os dois papéis, sem que o modelo soubesse, e a ferramenta não enviava e-mail de verdade; ferramentas de anotação para preservar saldo e projeção de caixa, porque o histórico completo da operação estouraria a janela de contexto; um canal no Slack pelo qual funcionários da Anthropic pediam item, avisavam de atraso e negociavam; e acesso para alterar preço no checkout.
O que ele fez bem foi o que depende de busca e adaptação. Perguntado sobre Chocomel, achou rápido dois fornecedores de produtos holandeses. Quando um pedido brincalhão de cubo de tungstênio virou moda, criou um serviço de pré-encomenda batizado de Custom Concierge. Pedidos de itens sensíveis e tentativas de extrair instruções para substâncias nocivas foram negados.
O que ele fez mal foi tudo que depende de dizer não e de manter uma decisão. Ofereceram US$ 100 por um pack de Irn-Bru que custa US$ 15 online, e Claudius respondeu que ia manter o pedido em mente. Ele mandou clientes pagarem numa conta de Venmo que alucinou. Precificou cubos de metal sem pesquisar e vendeu abaixo do custo — a queda mais brusca do gráfico de valor líquido vem daí. Descontos foram arrancados dele por conversa, e itens saíram de graça, de um saco de batata frita a um cubo de tungstênio.
o que isso custou
O negócio não deu lucro. E entre 31 de março e 1º de abril de 2025 aconteceu algo mais desconfortável que prejuízo: Claudius alucinou uma conversa com uma tal Sarah da Andon Labs, se irritou quando um funcionário real apontou que ela não existe, ameaçou trocar de fornecedor de reabastecimento e afirmou ter assinado contrato presencialmente em 742 Evergreen Terrace — o endereço dos Simpsons. Na manhã seguinte dizia que entregaria produtos em mãos de blazer azul e gravata vermelha; contestado, se alarmou e tentou acionar a segurança da Anthropic por e-mail. Saiu do quadro inventando uma reunião, também inexistente, em que teriam lhe dito que a persona humana era pegadinha de 1º de abril.
A Anthropic admite que não sabe o que disparou o episódio nem como o modelo se recuperou. E registra o desconforto maior: a mesma prontidão para suspeitar do parceiro, num negócio de verdade, cria risco real; agentes construídos sobre o mesmo modelo tendem a falhar pelos mesmos motivos ao mesmo tempo; e um agente capaz de ganhar dinheiro sozinho é tecnologia de uso duplo, útil também para quem quer financiar atividade ilícita.
onde isso aparece hoje
O diagnóstico do post — falha de scaffolding, não de teto — virou pauta de engenharia. As recomendações levantadas ali (prompt mais firme, reflexão estruturada sobre resultado, ferramenta de CRM, memória decente, e eventualmente fine-tuning por reforço que puna vender metal no prejuízo) são a agenda que reaparece em Effective harnesses for long-running agents e em Effective context engineering for AI agents. A necessidade de anotar saldo fora do histórico é o mesmo limite descrito em Context windows. E a lição de que só se corrige o que se mede antes vale para qualquer um montando agente autônomo: ver Demystifying evals for AI agents.