Um agente consulta a base, redige uma resposta e termina com “confiança: 95%”. Parece uma informação útil para decidir se aquilo pode seguir sozinho ou precisa de revisão humana. Mas esse percentual pode ser só mais uma frase bem-formada.
Esse é o ponto levantado em um texto recente de Andrew W. Lo: pedir que um modelo de linguagem declare a própria confiança não transforma a resposta numa medição. O número pode variar quando a pergunta é refeita, quando muda a redação ou quando o próprio texto anterior sugere que a resposta está certa. Nada disso é evidência nova.
Para quem está colocando IA em atendimento, análise ou automação interna, a consequência é direta: não use a segurança com que o modelo escreve como autorização para tirar a pessoa do circuito.
Confiança útil tem de acertar a própria promessa
Uma previsão de 70% só faz sentido se, entre muitos casos classificados como 70%, algo próximo de 70% realmente se confirmar. Esse teste se chama calibração. Uma resposta isolada nunca prova que o número foi bom; é preciso registrar previsões e comparar depois com o resultado.
Há outra armadilha: um sistema pode parecer calibrado e ainda assim não ajudar muito. Se ele disser sempre “75%”, talvez acerte perto de 75% dos casos no longo prazo, mas não separa uma demanda simples de uma exceção perigosa. Uma métrica operacional precisa distinguir os casos, não apenas soar prudente.
O que o modelo escreve não é uma leitura do próprio termômetro
LLMs produzem texto token por token. Quando recebem “qual é sua confiança?”, também produzem uma continuação plausível — por exemplo, “0,95”. Isso não significa que tenham consultado um painel interno de evidências, nem que aquele valor tenha sido testado contra a taxa de acerto da sua operação.
É por isso que um agente pode responder com firmeza a uma pergunta que não encontrou na base. A fluência da resposta e a qualidade da prova são coisas diferentes. Tratar uma como sinal da outra é especialmente arriscado quando a saída aprova pagamento, muda cadastro, orienta cliente ou toma decisão que custa caro para desfazer.
Troque “como você se sente?” por sinais que dá para auditar
O LLM ainda pode fazer a tarefa: buscar, resumir e redigir. Só não deve ser a fonte da métrica que libera a tarefa. A confiança precisa vir de sinais observáveis e de um histórico de resultados.
- Cobertura de fonte: a busca encontrou uma política ou artigo diretamente relacionado à pergunta?
- Qualidade da evidência: a resposta cita conteúdo atual e autorizado, ou inferiu a partir de algo parecido?
- Consistência: duas execuções independentes chegam ao mesmo encaminhamento?
- Histórico da fila: respostas desse tipo foram aprovadas ou corrigidas com que frequência?
- Risco da ação: mesmo uma boa resposta pode exigir revisão se mexe com dinheiro, acesso ou dado sensível.
Com esses sinais, dá para começar simples. Toda resposta de suporte, por exemplo, pode partir da taxa histórica de aprovação. Casos com artigo exato e respostas consistentes sobem; casos sem fonte direta ou em tema sensível descem para revisão. A regra não precisa nascer perfeita. Ela precisa ser explícita, repetível e melhorável.
O registro é a parte que transforma promessa em controle
Guarde a pergunta, as fontes encontradas, os sinais usados, a faixa de confiança calculada e o que aconteceu depois. Uma amostra revisada por gente já permite perguntar: as respostas classificadas como 90% foram aprovadas perto de 90% das vezes? Quando não foram, que sinal faltou?
Esse trabalho parece menos mágico do que pedir uma nota ao modelo. Também é bem mais útil. Ele troca a performance de certeza por um processo que mostra onde o agente funciona, onde falha e quando a decisão deve voltar para uma pessoa.
Uma regra simples para começar
Se o percentual veio apenas da frase do modelo, trate-o como texto, não como métrica. Antes de automatizar uma saída, defina quais evidências contam, registre o desfecho e calibre a regra com os seus próprios casos. A IA pode continuar sendo rápida; só não precisa fingir que já mediu o que ainda não foi medido.
