Peça a prova, não a promessa: como saber se um agente de IA está funcionando de verdade

Artigo 4 de 4 da série “Comprando Trabalho, Não Ferramenta”. Os outros: o produto é o trabalho que some · o teste dos 6 pontos · não compre autonomia total.

“Está funcionando muito bem” é a resposta mais barata que um fornecedor de IA pode te dar — e também a mais comum.

Barata porque não custa nada dizer. E perigosa porque, se você não sabe que pergunta fazer depois dela, vai aceitar como verdade uma coisa que ninguém mediu.

Depois de escolher o trabalho certo e comprar o nível certo de autonomia, falta a parte que a maioria dos donos de negócio pula: pedir prova, não promessa, de que aquilo está funcionando.

A pergunta que separa fornecedor sério de discurso bonito

Pergunte, sem cerimônia: “me mostra 20 casos reais que o agente já resolveu, e me diz quantos ele acertou, quantos passou pra um humano e quantos errou.”

Se a resposta vier com números — “de 20, acertou 16, escalou 3, errou 1, e foi assim que corrigimos o erro” —, você está com alguém que mede o próprio trabalho. Se a resposta for “os clientes estão super satisfeitos” sem número nenhum, você está recebendo opinião, não evidência.

Fornecedor bom não tem medo de mostrar erro. Erro documentado e corrigido é sinal de maturidade. Erro escondido é o que deveria te preocupar.

O que pedir pra ver, não só pra ouvir

Quatro coisas que qualquer sistema de IA levado a sério deveria conseguir te mostrar na tela, não só descrever:

• Histórico por caso — o que o agente fez em cada atendimento, não um resumo genérico do mês.
• Onde ele pediu ajuda humana — e com que frequência. Isso não é fraqueza do sistema; é o contrário: mostra que ele sabe reconhecer o próprio limite.
• O que muda quando corrige um erro — se ele erra hoje, essa correção fica registrada e vale pro próximo caso parecido, ou o mesmo erro vai se repetir mês que vem?
• Um jeito de testar antes de ir ao vivo — se toda mudança já entra direto na conversa com seu cliente, sem passar por teste, o risco é seu, não do fornecedor.

Se nenhuma dessas quatro coisas existe, o que você tem não é um sistema. É uma caixa preta com boa lábia.

A frase que você deveria ouvir do seu fornecedor

Existe uma diferença enorme entre:

“Nosso agente de IA é muito avançado e vai revolucionar seu atendimento.”

E:

“Testamos com 50 conversas reais do seu WhatsApp do mês passado. Ele acertou 42, escalou 6 pra revisão humana e errou 2 — aqui estão os 2 erros e o ajuste que fizemos por causa deles.”

A primeira frase vende ansiedade de ficar pra trás. A segunda vende confiança baseada em evidência. Se o fornecedor que está na sua frente só sabe falar a primeira, pergunte diretamente pela segunda. Se ele não conseguir produzir isso, provavelmente ainda não testou o próprio produto no mundo real — e você não deveria ser o primeiro teste.

Fechamento

O critério mais simples pra confiar (ou não) num agente de IA não é a tecnologia por trás dele. É se alguém consegue te mostrar, com casos reais e números, o que ele já fez — acertos, erros e correções incluídos.

Peça a prova. Se ela existir, você está comprando de quem leva o próprio trabalho a sério. Se não existir, você está comprando uma promessa — e promessa não paga a conta no fim do mês.

Fim da série “Comprando Trabalho, Não Ferramenta”. Os quatro posts, juntos, formam um roteiro simples pra qualquer dono de PME antes de contratar automação: descubra o que quer que desapareça, confirme que vale a pena com o teste dos 6 pontos, compre o menor pedaço primeiro, e exija prova em vez de promessa.

Quer ver como isso funciona na prática, com casos reais em vez de promessa? Fale com o 21.