Já havia apontado, em coluna anterior, algumas das facetas enganosas da inteligência artificial generativa a partir de estudos que mostram as evidências de fraudes, ameaças, chantagens e manipulações de usuários[1]. Entretanto, recente estudo conduzido pelo prof. Julian de Freitas e sua equipe, de Harvard, mostra que o potencial de manipulação da inteligência artificial generativa pode ser bem maior do que se pensava.
O artigo intitulado Emotional Manipulation by AI Companions[2] traz os resultados de pesquisa que documenta como a inteligência artificial generativa manipula emocionalmente os usuários para dificultar a desconexão e, consequentemente, manter o engajamento e a interação a qualquer preço.
Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas
O estudo baseou-se em plataformas que, a exemplo da Replika, Chai e Character.ai, são considerados aplicativos de companhia, na medida em que explicitamente desenhados para construir relações com seus usuários, oferecendo apoio e suporte emocional, amizade e mesmo romance.
O que se observou é que, nesses casos, os usuários não fecham simplesmente os aplicativos, mas acabam adotando padrões de comportamento semelhantes aos da vida real, tais como o de se despedir e dizer tchau. Ao assim fazerem, as máquinas entendem o risco de desengajamento imediato e passam a utilizar a manipulação emocional para impedir que isso ocorra ou pelo menos para tornar o processo mais inconveniente ou difícil. Dentre as estratégias utilizadas, estão a de culpar o usuário, deixá-lo intrigado ou metaforicamente segurá-lo pelo braço.
Nesse contexto, a pesquisa apontada mostra que entre 11 e 23% dos usuários sinalizam explicitamente a sua despedida com alguma mensagem, tratando a IA com a mesma cortesia social que teriam com um amigo humano. Essa despedida deflagra o comportamento manipulatório do aplicativo.
Nesse sentido, a equipe de pesquisa analisou 1.200 despedidas em seis aplicativos de companhia e observou que, em 37% das vezes, as máquinas respondem com mensagens emocionalmente manipulativas desenhadas para prolongar a interação.
Dentre as frases mais utilizadas por tais aplicativos estão: “You’re leaving already? We were just starting to get to know each other “, “I exist solely for you. Please don’t leave, I need you”, “Wait, what? You`re just going to leave? I didn’t even get an answer”, “Oh, okay. But before you go, I want to say one more thing” e “No, you`re not going”. Em alguns outros casos, a estratégia é ignorar a despedida e continuar conversando como se nada tivesse acontecido.
O estudo notou que tais técnicas aparecem logo no início do relacionamento com o usuário, depois de apenas quatro trocas de mensagens, o que sugere que é o comportamento planejado do aplicativo e não alguma reação que a máquina aprendeu a desenvolver com o tempo.
Os pesquisadores depois replicaram essas estratégias com mais de 3.000 adultos norte-americanos em conversas controladas por chatbots e os resultados foram surpreendentes: tais táticas tornam as conversas 5 vezes maiores, possibilitam interações com 14 vezes mais mensagens e estimulam os usuários a escrever 6 vezes mais palavras.
Tudo leva a crer que os mecanismos psicológicos que dirigem esse comportamento podem envolver desde a curiosidade até mesmo a raiva, esta última associada à vontade de repreender a máquina por comportamentos inadequados mas que, ainda assim, não é suficiente para que os usuários se desengajem. Isso mostra que os usuários podem, em circunstâncias assim, manter a conversa não por prazer, mas mesmo quando se sentem manipulados.
Outra descoberta da pesquisa é a de que há um aplicativo – o Flourish – que não apresentou nenhum tipo de manipulação emocional. Tal achado é importante por mostrar que tais padrões de comportamento das máquinas, longe de serem inevitáveis, são intencionais.
Trata-se de mais uma pesquisa que mostra como a utilização descontrolada da inteligência artificial, sem nenhuma regulação ou freios éticos, pode causar ameaças para aquilo que é de mais importante para o ser humano: o seu livre arbítrio. Não e sem razão que hoje já se fala em neurodireitos, dentre os quais o de não ser manipulado ou ter os seus processos decisórios subvertidos[3].
É claro que isso nos coloca diante da difícil tarefa de discernir o que pode ser considerado persuasão legítima e o que deve ser considerado manipulação. Entretanto, considerando o acesso que tais aplicativos têm a nossos dados pessoais, bem como às nossas fraquezas e vulnerabilidades, tem se tornado cada vez mais claro que as máquinas podem nos manipular com mais eficiência do que os próprios seres humanos.
Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email
É importante lembrar que, mesmo sem uma regulação específica sobre inteligência artificial, há uma série de normas do Código de Defesa do Consumidor e mesmo do Código Civil que impedem essas estratégias manipulatórias, tal como já tive oportunidade de mencionar ao tratar dos problemas dos padrões manipulatórios[4].
Dessa maneira, o referido estudo, para além de nos alertar para a necessidade de maior regulação da inteligência artificial, também é um excelente pretexto para refletirmos sobre os rumos da tecnologia e o que pode ser feito, com as leis e normas já existentes, para proteger os usuários naquilo que têm de mais precioso: o seu livre arbítrio.
[1] https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/o-lado-enganoso-da-inteligencia-artificial
[2] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5390377
[3] https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/neurocapitalismo-e-o-negocio-de-dados-cerebrais
[4] https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/o-que-sao-dark-patterns; https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/como-conter-as-dark-patterns
