Tech de Boa

Inteligência Artificial

ChatGPT pode errar? Como conferir se uma resposta está correta

Por Equipe Tech de Boa

Celular fotografando uma imagem de inteligência artificial em uma tela

Sim. O ChatGPT pode produzir uma resposta clara, detalhada e convincente que ainda contém informações erradas.

Resposta rápida

Use o ChatGPT para ajudar a entender, organizar e explorar uma questão, mas confira informações importantes em fontes confiáveis antes de tomar uma decisão.

Desconfie especialmente de:

  • datas e números exatos;
  • citações e estudos;
  • regras que mudam com frequência;
  • informações muito recentes;
  • respostas sobre saúde, dinheiro, leis ou segurança;
  • afirmações apresentadas com muita confiança, mas sem uma fonte verificável.

Por que isso acontece

Modelos de linguagem geram respostas com base em padrões aprendidos e no contexto da conversa. Eles não funcionam como um banco de dados que consulta uma ficha definitiva para cada frase.

Por isso, um modelo pode gerar uma informação que parece plausível, mas não corresponde aos fatos. Esse tipo de erro costuma ser chamado de alucinação.

A OpenAI reconhece que o ChatGPT pode, por exemplo:

  • apresentar fatos incorretos;
  • inventar referências ou citações;
  • responder com confiança a uma pergunta ambígua;
  • errar mesmo quando a escrita parece muito segura.

Se você ainda está conhecendo a ferramenta, comece por o que é o ChatGPT e como usá-lo pela primeira vez.

1. Separe explicação de fato verificável

Uma explicação geral pode ser útil mesmo sem exigir cada detalhe atualizado.

Por exemplo:

é diferente de:

No segundo caso, a resposta depende de informação atual e específica. A fonte oficial deve fazer parte da conferência.

2. Peça a fonte original

Quando uma afirmação for importante, peça a origem da informação.

Você pode escrever:

Quais são as fontes primárias para essa afirmação? Dê preferência a documentação oficial, legislação, pesquisa original ou página do fabricante.

Depois, abra a fonte e confira se ela realmente diz o que a resposta afirmou.

Não confie apenas no fato de existir um link ou uma referência com aparência acadêmica. Modelos podem gerar referências incorretas ou inexistentes.

3. Confira datas e números separadamente

Números são fáceis de copiar para uma decisão sem perceber um erro.

Se a resposta inclui preço, percentual, data, limite, versão ou outra informação exata:

  1. identifique o número que importa;
  2. procure a fonte original;
  3. confira a data daquela fonte;
  4. confirme se ela se aplica ao seu país, produto ou versão.

4. Veja se a informação pode ter mudado

Algumas respostas envelhecem rápido:

  • preços e planos;
  • interfaces de aplicativos;
  • recursos de produtos;
  • leis e regras;
  • horários;
  • disponibilidade por país;
  • versões de software.

Nesses casos, não basta perguntar “você tem certeza?”. O melhor é consultar uma fonte atual.

5. Faça uma pergunta de verificação

Você pode pedir ao ChatGPT para revisar a própria resposta, mas isso deve ser uma camada extra, não a validação final.

Um pedido útil é:

Revise a resposta anterior. Liste separadamente quais afirmações são fatos verificáveis, quais são inferências e quais pontos você não consegue confirmar com segurança.

Isso ajuda a localizar trechos que merecem checagem.

6. Melhore o prompt quando a pergunta estiver ambígua

Às vezes, o problema não é apenas a resposta. A pergunta pode permitir várias interpretações.

Se você fornecer país, versão do sistema, objetivo, data e outras condições relevantes, a chance de receber uma resposta útil aumenta.

Veja como escrever prompts melhores no ChatGPT.

Um checklist antes de usar a resposta

Para algo importante, pergunte:

  • A resposta traz um fato que pode ser verificado?
  • A fonte indicada realmente existe?
  • A fonte é oficial ou primária quando possível?
  • A informação está atualizada?
  • O dado se aplica ao Brasil e ao meu caso?
  • Há um número, data ou regra que preciso confirmar separadamente?
  • Se a resposta estiver errada, qual seria o impacto?

Quanto maior o impacto de um erro, maior deve ser a exigência de verificação.

Resumos também precisam ser conferidos

Mesmo quando você fornece o texto original, um resumo pode omitir uma ressalva ou dar destaque excessivo a um ponto secundário.

Por isso, em documentos importantes, vale comparar os principais itens do resumo com o original. Veja como usar IA para resumir textos sem perder informações importantes.

E se a resposta envolver seus dados pessoais?

A precisão não é o único risco. Antes de enviar documentos, contratos, planilhas ou informações pessoais, considere também a privacidade e os controles do serviço usado.

Leia se é seguro enviar documentos e informações pessoais para uma inteligência artificial.

Fontes oficiais

Conteúdos relacionados