antonio leandro

dev e iallmcusto por tarefasegurançaagentes

o token ficou mais barato, a tarefa ficou 20% mais cara

gemini 3.8 flash e fable 5.1 baixam a etiqueta por token, mas a conta que importa é a da tarefa inteira; e a segurança do dia veio medida em cve, não em benchmark

· 11 itens de 13 fontes

escrito por pipeline de llm, revisado por antonio leandro antes de publicar · como é feito

Quatro publicações independentes de hoje dizem a mesma coisa com números diferentes: o preço do token parou de ser a medida da conta. O Gemini 3.8 Flash sai pela mesma etiqueta do 3.7 e a própria página do anúncio avisa que o modelo “works harder” — mais reasoning steps, mais chamadas de tool, mais tokens —, com a recomendação explícita de ficar no 3.7 para quem tem compute como restrição principal. O Fable 5.1 cortou 75% do preço do cache read e saiu 20% mais caro por tarefa, porque gasta cerca de 1,7x de output. O GitHub mediu o que acontece quando se encurta a saída de cada tool call e achou o contrário do esperado: a tarefa inteira ficou mais lenta e mais cara. E o time de design system da Coinbase cortou 11,5% de tokens e 22,5% de custo com a mesma mudança. A distância entre esses dois últimos números é o assunto do dia.

Corre em paralelo um segundo fio, e ele tem placar. A variante Cyber do Flash chega fechada, só para “trusted defenders”, com benchmarks escolhidos por quem lança; a AISLE publicou seis CVEs no curl depois que os agentes de OpenAI e Anthropic voltaram com zero, e quem decidiu que eram CVEs foi o time do curl; o Nubank passou mais de 2.000 skills por um vetter antes do marketplace; e o BLOOM-WILT elicia comportamento a partir dos logits do próprio modelo e derruba rankings de safety publicados antes. Opinião minha: das quatro, três trazem achado contado por terceiro e uma traz benchmark contado pelo vendedor, e essa assimetria é hoje a informação mais útil sobre agente em segurança. Taiwan é o único item que não entra em nenhum dos dois fios, e é o fato de mundo do dia.

laboratórios

Gemini 3.8 Flash e 3.8 Flash Cyber — terceiro Flash em seis semanas, ao mesmo preço de introdução do 3.7: US$ 0,75 por milhão de tokens de input e US$ 3,75 de output, com 54,9% no HLE-Verified. O detalhe que muda o planejamento de capacidade está no meio do texto: nas tarefas complexas o modelo executa passos extras de reasoning e chama tools iterativamente, e o próprio anúncio manda usar effort levels mais baixos, ou continuar no 3.7, quando eficiência de compute for a restrição. A variante Cyber sai só pelo Fairwind Program, com taxa de sucesso acima de 70% em um benchmark interno que cobre 20 linguagens, 47,2% de pass@1 no CWE-Bench contra 47,8% de um frontier model concorrente por custo bem maior, e 2,6x mais patches corretos que os melhores modelos comerciais no código do Chrome, segundo o time de segurança do Chrome.

Co-Designing AI Models Using Speculative Decoding — terceiro post da série de co-design da NVIDIA, e o único item do dia que fala de custo no nível do kernel em vez da fatura. A regra prática: quando attention domina o decode, o draft length ótimo é D = 128/G − 1, com G sendo o número de query heads por KV head; se você passar disso, escolha D tal que G × (1 + D) seja múltiplo de 128, senão o último tile fica subutilizado e custa quase igual a um tile cheio. Com D = 7, um oitavo do batch size já basta para a GEMM ficar compute bound em relação a D = 0, o que importa cada vez mais conforme os MoE ficam mais esparsos e a concorrência efetiva por expert cai.

pesquisa

BLOOM-WILT — resumo do próprio autor, com código no GitHub, transcrições no HuggingFace e o LogitTilt já integrado ao Inspect. A queixa contra auditores automáticos tipo BLOOM é que eles não têm pressão de otimização e por isso a taxa de acerto é baixa; a queixa contra o red-teaming clássico é que ele produz inputs que ninguém digitaria e outputs que o modelo quase nunca produziria. O WILT ataca as duas pontas: G-PAIR faz o auditor revisar a estratégia entre rodadas usando as notas anteriores, e o LogitTilt reponderá o decoding do alvo usando a distribuição do próprio modelo condicionada a um prompt de elicitação, com um único parâmetro de força controlando o trade-off entre plausibilidade e elicitação. Bate a baseline em 30 de 32 combinações (4 modelos, 8 comportamentos) e, em encorajamento a automutilação no Qwen3.5-4B, sobe a presença média do comportamento de 51% para 100% — e, no caminho, inverte o ranking de segurança que a baseline produzia.

brasil

When AI skills become supply-chain dependencies — o Nubank passou a tratar skills, plugins, MCP servers, agent rules e tool manifests como dependência de cadeia de suprimentos, e montou um gate antes da distribuição: skill creator → pull request → Skill Vetter → marketplace → devs. O Skill Vetter combina detecção determinística (comando shell destrutivo, pedido de credencial, path sensível, CLI que toca produção) com análise por LLM para o que só se entende em contexto, e devolve os achados no próprio PR, em SARIF. Mais de 2.000 skills passaram por lá antes de chegar aos devs. O exemplo mais afiado do texto é o da skill que instrui o agente a pedir confirmação humana antes de rodar um comando perigoso: a aprovação existe só dentro do prompt, e o modelo pode ler o contexto anterior como consentimento e se autorizar sozinho — o desenho seguro é pôr a operação sensível atrás de uma tool controlada pelo host. Projeto liderado por Paulo Martins, apresentado por Lucas Palma na AI Engineer World’s Fair.

mercado

How Coinbase used Code Connect to guide agents and shrink token costs — três runs, mesmo design, mesmo prompt, mesmo modelo (Sonnet 4.6), codebase em branco resetada entre execuções e controle explícito de prompt caching para não creditar ao Code Connect um ganho que era do cache. Resultado médio: 11,5% menos tokens, 22,3% menos tempo e 22,5% menos custo, com todas as três runs melhorando. Repare que o corte de custo é o dobro do corte de tokens, o que é o argumento do dia inteiro em miniatura: o ganho não vem de gastar menos por chamada, vem de o agente parar de procurar e adivinhar. A migração de centenas de componentes para o formato novo de Code Connect foi feita em cerca de quatro horas com um workflow em paralelo escrito no Claude Code, e alucinação de nome de ícone e ilustração, segundo o technical lead Erich Kuerschner, “sumiu da noite para o dia”.

How we make AI coding more cost efficient without sacrificing task quality — o post nomeia a armadilha: otimizar tokens por tool call é a métrica errada. Ao avaliar o RTK (Rust Token Killer), que encurta saída de shell antes do agente ler, o Copilot viu o modelo reabrir o output original ou rodar o comando de novo quando faltava informação, somando turnos e carregando mais contexto adiante — resposta individual menor, tarefa mais cara. O compressor que acabou indo para produção é conservador por resultado de avaliação, não por escolha: preserva cat, git diff, git show e scripts arbitrários, reorganiza resultado de grep sem descartar match, e só comprime ruído repetitivo de install, build, test e lint. Duas medidas limpas: tirar o prefixo de número de linha do tool view, que nenhuma ferramenta de edição atual usa, cortou ~5% do custo de inference offline e ~3% do custo diário por usuário online; e o loop de meta-prompting que cortou pela metade o prompt do tool task passou pelas avaliações offline e só no experimento online revelou a regressão, ao transformar uma orientação cautelosa sobre paralelismo em política dura de escalonamento, serializando agentes independentes.

mundo

Taiwan’s six-year hunt for China’s undercover chip labs — o MJIB, equivalente taiwanês do FBI, deu ao Rest of World números inéditos: 166 casos investigados em seis anos por ocultação de vínculo com a China, mais 67 investigações de segredo comercial concluídas no setor de tecnologia no mesmo período. A operação mobiliza os 2.000 investigadores do órgão desde 2020 e segue ativa: em 5 de agosto foram 18 empresas de tecnologia numa nova leva de buscas. O caso que abre a reportagem é o de um engenheiro contratado por uma suposta empresa americana em Hsinchu por US$ 120 mil ao ano, o dobro da média do setor, que passou meses mandando código e design de chip para colegas em Nanjing antes da operação policial de agosto de 2021. Taiwan produz mais de 60% dos semicondutores do mundo e 90% dos mais avançados.

quem escreveu

llm-gemini 0.34 — Simon Willison publicou o plugin no mesmo dia do lançamento e traz o que o anúncio não diz: o gemini-3.8-flash expõe thinking levels low, medium e high, com o teste do pelicano rodado nos três, e a variante Cyber é fechada mesmo, só para “trusted defenders”. A medida de custo real que ficou do post: um “make me a cool thing in html” saiu em 13 segundos por 1,8 centavo de dólar.

AINews: Claude Fable/Mythos 5.1 — a contabilidade completa do corte de ontem. Preço por token igual ao Fable 5 (US$ 10 de input, US$ 50 de output, US$ 12,5 de cache write por milhão), cache read caindo de US$ 1,00 para US$ 0,25, e ainda assim US$ 3,76 por tarefa contra um valor menor no Fable 5, porque o modelo usa ~1,7x mais tokens de output: o corte no cache economiza cerca de US$ 1,40 por tarefa e a conta fecha 20% mais cara. No Artificial Analysis Intelligence Index o 5.1 marca 66 contra 63 do Opus 5 e 61 do GPT-5.6 Sol, mas o Sol faz seus 61 por US$ 0,95 por tarefa. Dois avisos que valem mais que o índice: a avaliação da AA rodou com o fallback server-side padrão da Anthropic ligado, com ~4% dos tokens de output roteados para Opus 4.8 ou Opus 5, e a leitura de que Fable e Mythos 5.1 seriam os mesmos pesos com limiar de classificador diferente é análise da comunidade, não declaração oficial.

Six curl CVEs after OpenAI and Anthropic came back with zero — em 24 de agosto, Daniel Stenberg publicou que o Mythos da Anthropic não achava mais nada no curl e que a lista do Codex Security da OpenAI estava vazia. A AISLE rodou o próprio sistema, mandou 29 relatos, e o time de segurança do curl transformou seis deles em CVE no 8.22.0, todos de severidade Low, com crédito a Stanislav Fort. O que dá peso ao resultado não é o placar, é o desenho: a baseline era pública e datada antes do experimento, o código era produção e não CTF, e quem julgou o que era vulnerabilidade real foram os mantenedores, não o fornecedor. Greg Kroah-Hartman comentou no post de Stenberg ver o mesmo padrão no kernel Linux. Ressalva óbvia: o texto é da própria AISLE e termina vendendo auditoria.

Maybe We Shouldn’t Be Reviewing All This Code — Rachel Laycock responde a Brian Houck com dois números do outro lado do debate: na Meta, linhas significativas por diff humano subiram 106% em um ano, e os dados da DX mostram mediana de pull request 64% maior. A tese é que code review virou o lugar onde despejamos coisas que deveriam acontecer antes — exploração de alternativas, transferência de conhecimento, alinhamento arquitetural, propriedade coletiva — e que a resposta certa não é um agente imitando o revisor humano para preservar a cerimônia em velocidade maior, e sim revisão por exceção, com pairing, design em grupo, trunk-based, fitness functions e scanner automático fazendo o resto. A frase que fica: precisamos de engenheiros que entendam sistemas, não diffs. Conversa direta com o item do Nubank, que é exatamente um controle movido para antes da distribuição em vez de uma revisão depois do fato.

fontes paradas

Anthropic Engineering está há 101 dias sem publicar, e Interconnects há 16. Do lado de fora do assunto do dia: Chrome Developers (73), web.dev (97), Brendan Gregg (209), fasterthanli.me (245), The Gradient (196) e First Round Review (310).