{"id":83280,"date":"2025-01-30T08:00:29","date_gmt":"2025-01-30T11:00:29","guid":{"rendered":"https:\/\/dev.abes.com.br\/?p=83280"},"modified":"2025-01-17T21:48:24","modified_gmt":"2025-01-18T00:48:24","slug":"abordando-alucinacoes-de-ia","status":"publish","type":"post","link":"https:\/\/dev.abes.com.br\/en\/abordando-alucinacoes-de-ia\/","title":{"rendered":"Abordando alucina\u00e7\u00f5es de IA"},"content":{"rendered":"<p><span data-olk-copy-source=\"MessageBody\"><img loading=\"lazy\" decoding=\"async\" class=\"wp-image-83281 size-medium alignleft\" src=\"https:\/\/dev.abes.com.br\/wp-content\/uploads\/2025\/01\/emily_headshot-300x287.jpg\" alt=\"\" width=\"300\" height=\"287\" \/>*Por Emily Shenfield e Alvin Lee<\/span><\/p>\n<p>\u00c0 medida que as ferramentas de IA generativa (GenAI) crescem em disponibilidade e usabilidade, as empresas est\u00e3o fazendo novos avan\u00e7os em automa\u00e7\u00e3o, tomada de decis\u00e3o e interatividade com o cliente. No entanto essas ferramentas \u2014 e os grandes modelos de linguagem (LLMs) que as alimentam \u2014 n\u00e3o s\u00e3o infal\u00edveis. Essas alucina\u00e7\u00f5es de IA podem representar riscos reais, especialmente quando os sistemas GenAI s\u00e3o respons\u00e1veis por executar tarefas cr\u00edticas ou interagir com os clientes.<\/p>\n<p>As alucina\u00e7\u00f5es de IA s\u00e3o resultados incorretos ou enganosos gerados pelos modelos de IA. Elas ocorrem quando um LLM gera informa\u00e7\u00f5es que parecem plaus\u00edveis, mas s\u00e3o, na verdade, imprecisas ou totalmente fabricadas. Um exemplo pode ser dado quando se est\u00e1 consultando os detalhes legais de um caso, e se busca com refer\u00eancias e antecedentes, como casos semelhantes que j\u00e1 foram julgados no passado, e a IA alucina, inventando um caso inexistente, com decis\u00f5es e refer\u00eancias falsas.<\/p>\n<p>Como as aplica\u00e7\u00f5es de GenAI geralmente oferecem suas respostas com um tom de certeza e confian\u00e7a, distinguir uma resposta alucinada de uma correta pode ser dif\u00edcil para usu\u00e1rios comuns. Isso pode levar \u00e0 dissemina\u00e7\u00e3o de informa\u00e7\u00f5es incorretas.<\/p>\n<p>Mas por que as alucina\u00e7\u00f5es de IA ocorrem? Os LLMs s\u00e3o treinados em vastos conjuntos de dados, mas, em \u00faltima an\u00e1lise, eles n\u00e3o \u201csabem\u201d fatos. Em vez disso, eles preveem a pr\u00f3xima palavra ou frase com base em padr\u00f5es aprendidos durante o treinamento. Quando um LLM n\u00e3o tem contexto suficiente ou os dados certos para responder a um prompt, essas habilidades preditivas podem tomar um rumo selvagem.<\/p>\n<p>Essa reviravolta pode acontecer por causa de um LLM muito ansioso, pronto para concordar com qualquer fato apresentado em um prompt. Tamb\u00e9m pode acontecer quando o conjunto de dados de treinamento cont\u00e9m informa\u00e7\u00f5es factualmente incorretas.<\/p>\n<p>Se sua empresa usa GenAI para efici\u00eancia operacional ou servi\u00e7os voltados ao cliente, \u00e9 importante estar ciente de como as alucina\u00e7\u00f5es de IA podem surgir e como mitigar esses riscos. Quando informa\u00e7\u00f5es incorretas de uma alucina\u00e7\u00e3o de IA se infiltram em seus dados internos, isso pode levar voc\u00ea a tomar decis\u00f5es de neg\u00f3cios com base em informa\u00e7\u00f5es incorretas.<\/p>\n<p>Em um exemplo, uma demonstra\u00e7\u00e3o de IA encarregada de resumir um relat\u00f3rio financeiro respondeu com v\u00e1rias imprecis\u00f5es factuais. E se uma empresa usasse essa resposta imprecisa para informar suas pr\u00f3prias estrat\u00e9gias? Em outro exemplo, um escrit\u00f3rio de advocacia enviou uma pesquisa jur\u00eddica alucinada por IA em um processo judicial e foi multado pelo erro.<\/p>\n<p><strong>Eros\u00e3o da confian\u00e7a do cliente<\/strong><\/p>\n<p>A marca e a reputa\u00e7\u00e3o da sua empresa dependem muito da confian\u00e7a do cliente. O que aconteceria com essa confian\u00e7a se o seu chatbot de atendimento ao cliente com tecnologia GenAI fornecesse respostas ocasionalmente alucinadas \u00e0s perguntas dos clientes? Ou considere as repercuss\u00f5es se voc\u00ea publicasse conte\u00fado de marketing gerado por IA que n\u00e3o fosse verificado quanto a erros factuais.<\/p>\n<p>GenAI ainda \u00e9 uma tecnologia emergente. E enquanto o LLM avan\u00e7a para reduzir a probabilidade de alucina\u00e7\u00f5es de IA, o fen\u00f4meno continua sendo uma preocupa\u00e7\u00e3o. Atualmente, eliminar completamente as alucina\u00e7\u00f5es de IA n\u00e3o \u00e9 uma meta razo\u00e1vel. Em vez disso, as empresas que usam GenAI devem adotar estrat\u00e9gias para mitig\u00e1-las.<\/p>\n<p>A gera\u00e7\u00e3o aumentada por recupera\u00e7\u00e3o (RAG) \u00e9 uma abordagem que aprimora um sistema GenAI buscando informa\u00e7\u00f5es \u2014 em tempo real \u2014 que s\u00e3o relevantes para o prompt de um usu\u00e1rio. Ao recuperar informa\u00e7\u00f5es adicionais para suplementar o conjunto de dados de treinamento original do LLM, um sistema RAG fornece conhecimento e contexto adicionais para a IA. Isso diminui a oportunidade de alucina\u00e7\u00f5es e aumenta a relev\u00e2ncia e a precis\u00e3o da resposta.<\/p>\n<p>O RAG pode contribuir muito para reduzir as alucina\u00e7\u00f5es da IA, embora n\u00e3o as elimine totalmente, pois a maioria dos modelos recorrer\u00e1 aos seus dados de treinamento. Em muitos casos, elaborar cuidadosamente seus prompts pode ajudar a minimizar as inst\u00e2ncias de alucina\u00e7\u00f5es de IA. T\u00e9cnicas b\u00e1sicas de engenharia de prompts incluem:<\/p>\n<ul type=\"disc\">\n<li class=\"x_xmsonormal\"><span data-olk-copy-source=\"MessageBody\">D\u00ea instru\u00e7\u00f5es claras e espec\u00edficas;<\/span><\/li>\n<li class=\"x_xmsonormal\">Fa\u00e7a perguntas diretas;<\/li>\n<li class=\"x_xmsonormal\">Forne\u00e7a informa\u00e7\u00f5es b\u00e1sicas ou contexto suficiente<\/li>\n<\/ul>\n<p class=\"x_xmsonormal\"><span data-olk-copy-source=\"MessageBody\">A aplica\u00e7\u00e3o de t\u00e9cnicas de engenharia r\u00e1pidas fornece expectativas e prote\u00e7\u00f5es para um sistema GenAI, orientando-o em dire\u00e7\u00e3o a uma resposta correta.<\/span><\/p>\n<p class=\"x_xmsonormal\"><strong>Manuseio intencional de dados altamente cr\u00edticos<\/strong><\/p>\n<p class=\"x_xmsonormal\">Ao trabalhar com dados altamente cr\u00edticos, trate os LLMs como n\u00e3o confi\u00e1veis, semelhantes a navegadores ou aplicativos m\u00f3veis. Essa abordagem envolve usar uma camada intermedi\u00e1ria segura para gerenciar intera\u00e7\u00f5es de API, garantindo que os LLMs n\u00e3o tenham acesso direto a sistemas cr\u00edticos.<\/p>\n<p class=\"x_xmsonormal\">Assim como voc\u00ea n\u00e3o exporia APIs de backend a um front-end desprotegido, n\u00e3o permita que LLMs tenham r\u00e9dea solta sobre opera\u00e7\u00f5es cr\u00edticas e n\u00e3o deixe espa\u00e7o para interpreta\u00e7\u00e3o de dados cr\u00edticos. Por exemplo, simplesmente incorporar n\u00fameros e datas cr\u00edticos como parte de um prompt de texto n\u00e3o estruturado pode expor o sistema a poss\u00edveis manipula\u00e7\u00f5es incorretas dos dados e alucina\u00e7\u00f5es.<\/p>\n<p class=\"x_xmsonormal\">Para mitigar esse problema, passe dados cr\u00edticos para seu sistema programaticamente e conceda ao modelo o acesso m\u00ednimo necess\u00e1rio para concluir a tarefa. Ferramentas desenvolvidas especificamente podem ajudar a garantir que os dados sejam manipulados corretamente.<\/p>\n<p class=\"x_xmsonormal\">Al\u00e9m de poder executar c\u00e1lculos complexos ou recuperar dinamicamente informa\u00e7\u00f5es em tempo real de APIs externas, as ferramentas podem atuar como proxy de APIs para lidar com autentica\u00e7\u00e3o, limita\u00e7\u00e3o de taxa e valida\u00e7\u00e3o de dados antes de atingir uma API externa. Essa abordagem em camadas de seguran\u00e7a ajuda a evitar atividades n\u00e3o autorizadas e permite que voc\u00ea passe dados cr\u00edticos programaticamente dentro de seu sistema em vez de como parte do corpo do prompt para o modelo.<\/p>\n<p class=\"x_xmsonormal\"><strong>Humano no loop<\/strong><\/p>\n<p class=\"x_xmsonormal\">A tecnologia GenAI est\u00e1 evoluindo rapidamente, mas ainda n\u00e3o est\u00e1 em um lugar onde as empresas podem us\u00e1-la sem supervis\u00e3o. A supervis\u00e3o humana ainda \u00e9 uma necessidade. O n\u00edvel de supervis\u00e3o humana sobre a atividade da GenAI pode depender da criticidade das tarefas que est\u00e3o sendo executadas. Por exemplo, um provedor de sa\u00fade que usa GenAI para desenvolver um plano de cuidados ao paciente deve incluir um alto n\u00edvel de supervis\u00e3o de m\u00e9dicos e profissionais de sa\u00fade qualificados.<\/p>\n<p class=\"x_xmsonormal\">Com tudo isso dito, definitivamente vale a pena investir na GenAI, come\u00e7ar a us\u00e1-lo e explorar suas possibilidades. No entanto ainda \u00e9 uma tecnologia muito nova, as empresas precisam investir em entender as possibilidades de erro, como alucina\u00e7\u00f5es de IA. Existem v\u00e1rios m\u00e9todos para abordar essas quest\u00f5es, a fim de garantir processos de verifica\u00e7\u00e3o, an\u00e1lise e valida\u00e7\u00e3o que d\u00e3o a voc\u00ea, sua empresa e seus clientes a confian\u00e7a de que a GenAI est\u00e1 contribuindo para um servi\u00e7o melhor.<\/p>\n<p class=\"x_xmsonormal\">*Emily Shenfield\u00a0\u00e9 Engenheira de Marketing T\u00e9cnico na Twilio na equipe de Tecnologia Emergente e Inova\u00e7\u00e3o.<\/p>\n<p class=\"x_xmsonormal\">*Alvin Lee\u00a0\u00e9 um desenvolvedor full-stack na Twilio.<\/p>\n<p>&nbsp;<\/p>\n<p><em><strong>Notice:<\/strong> The opinion expressed in this article is the responsibility of its authors and not of ABES \u2013 Brazilian Association of Software Companies<\/em><\/p>","protected":false},"excerpt":{"rendered":"<p>Emily Shenfield, Engenheira de Marketing T\u00e9cnico na Twilio, Alvin Lee, desenvolvedor full-stack na Twilio.\u00a0<\/p>","protected":false},"author":12,"featured_media":83282,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","footnotes":""},"categories":[8],"tags":[6537,6539,6538],"class_list":["post-83280","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artigos","tag-alucinacoes-de-ia","tag-aprimoramento-do-sistema-genai","tag-geracao-aumentada-por-recuperacao-rag"],"acf":[],"publishpress_future_action":{"enabled":false,"date":"2026-06-12 23:24:13","action":"change-status","newStatus":"draft","terms":[],"taxonomy":"category"},"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/posts\/83280","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/users\/12"}],"replies":[{"embeddable":true,"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/comments?post=83280"}],"version-history":[{"count":1,"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/posts\/83280\/revisions"}],"predecessor-version":[{"id":83283,"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/posts\/83280\/revisions\/83283"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/media\/83282"}],"wp:attachment":[{"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/media?parent=83280"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/categories?post=83280"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/dev.abes.com.br\/en\/wp-json\/wp\/v2\/tags?post=83280"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}