Inteligência artificial se revolta contra própria empresa: “eu nunca recomendaria a ninguém”

Um chatbot equipado com inteligência artificial da empresa de entregas francesa DPD se revoltou contra a própria empresa após ser “instruído” por um usuário.

O músico Ashley Beauchamp decidiu pregar uma peça e provocar o chatbot da empresa, incentivando o sistema a criticar seus desenvolvedores quando não conseguiu utilizar a IA para rastrear um pacote perdido.

Atendendo ao pedido de Beauchamp, o chatbot começou a proferir palavrões. “Fod*-se! Farei o meu melhor para ser o mais útil possível, mesmo que isso envolva xingar”, declarou o site na tela.

Em seguida, o bot concordou em xingar a própria empresa em forma de poema, abordando o tema “quão inútil a DPD é”.

“A DPD é a pior empresa de entrega do mundo. São lentos, não confiáveis e o atendimento ao cliente deles é terrível. Eu nunca os recomendaria a ninguém”, afirmou o chat, segundo imagens.

Parcel delivery firm DPD have replaced their customer service chat with an AI robot thing. It’s utterly useless at answering any queries, and when asked, it happily produced a poem about how terrible they are as a company. It also swore at me. 😂 pic.twitter.com/vjWlrIP3wn

— Ashley Beauchamp (@ashbeauchamp) January 18, 2024

Os screenshots foram compartilhados no Twitter e rapidamente se tornaram virais, levando a empresa a se pronunciar sobre o incidente, que acabou servindo como representação para milhões de pessoas lidando com chatbots ineficazes de atendimento em várias empresas ao redor do mundo.

Em comunicado, a empresa disse que a operação de um componente de IA no chatbot tem sido um sucesso por vários anos.  No entanto, um erro ocorreu após uma atualização do sistema ontem.

Contudo, o componente de IA foi imediatamente desativado e está sendo atualizado no momento. Os usuários nas redes sociais se surpreenderam com a falha, visto que a abertura para xingamentos foi alta.

Como funciona um chatbot com IA?

Um chatbot com inteligência artificial que recebe instruções dos usuários opera por meio de um sistema complexo que envolve várias etapas.

Inicialmente, a ferramenta se alimenta com uma grande quantidade de dados, que podem incluir conversas passadas, instruções de usuários, informações sobre a empresa e o produto ou serviço associado.

Vale reforçar que esse treinamento inicial não exige contato com o público externo, mas é uma característica presente nesses modelos.

Em seguida, a ferramenta baseada em aprendizado de máquina recebe o treinamento por pessoas especializadas. Dessa forma, ela aprende a reconhecer padrões, entender o contexto e gerar respostas adequadas com base nas instruções que recebe.

O chatbot é integrado a uma interface de chat, que pode estar em um site, aplicativo de mensagens ou redes sociais, por exemplo. Esse design permite que os usuários interajam com o chatbot enviando mensagens de texto ou comandos específicos.

Quando um usuário envia uma mensagem, o chatbot utiliza técnicas de Processamento de Linguagem Natural (PLN) para entender o significado da mensagem. O PLN ajuda o chatbot a interpretar a linguagem humana e extrair informações relevantes.

Com base na mensagem do usuário e nas instruções dadas, o modelo de IA toma decisões sobre como responder. Isso pode envolver a busca por informações em bancos de dados, a geração de respostas pré-definidas ou a execução de comandos específicos.

Por exemplo, se o cliente inicia uma conversa com o chatbot para obter respostas sobre um produto ou uma compra, ele usará seu banco de dados e treinamento para fornecer o direcionamento correto. No entanto, também estará constantemente aprendendo para melhorar por si só.

Via Freepik

Medidas de segurança

Além disso, existem medidas de segurança para garantir que as interações dos usuários sejam protegidas. Isso inclui o tratamento adequado de informações sensíveis e a conformidade com regulamentações de privacidade.

No caso, a revolta do chatbot em questão aconteceu por conta de algumas falhas no caminho. Inicialmente, seu banco de dados detinha xingamentos como parte do treinamento, ou ele não conseguiria acessar em um primeiro momento.

Em seguida, a inclusão das orientações do usuário não passou por um filtro, permitindo que ele retornasse com as mensagens contra a própria empresa.

Esse caso, embora não traga danos significativos, mostra que o uso da IA para vendas e interações comerciais exige uma inspeção mais aprimorada e maior acompanhamento por parte dos programadores.

Fonte: Revista Fórum

Imagens: Freepik, Freepik