Por Redação AIoT Brasil

Uma nova frente de batalha, entre agentes de IA “do bem” e “do mal” acaba de surgir, segundo informações da empresa de segurança digital F5. “Uma evolução dos agentes de IA – o fato de contarem com traços de personalidade que simulam a “voz” e as reações humanas – é, agora, alvo de ataques de engenharia social realizados também por agentes de AI”, explica Roberto Ricossa, Vice-Presidente da F5 América Latina

A persona do agente de IA foi criada para acelerar ainda mais os negócios digitais das organizações. Um gigante de e-Commerce poderá, por exemplo, determinar que o agente de IA que realiza o atendimento ao cliente seja encantador, com traços de personalidade como empatia e extroversão. Essa será sua “voz”. A Persona é definida ainda na fase de desenvolvimento e é parte do DNA do agente de IA. O modelo mais adotado na definição da personalidade é o Ocean. São traços como abertura (Openness), conscienciosidade (Conscientiousness), extroversão (Extraversion), amabilidade (Agreeableness) e neuroticismo (Neuroticism).

Técnicas de bullying e de engenharia social implementadas em agentes de IA “do mal” usam neurolinguística e psicologia para convencer o agente de IA “do bem” a ir contra seus parâmetros, abrindo brechas para que os atacantes sejam bem-sucedidos.

Técnicas humanas

Para Hilmar Becker, diretor regional da F5 Brasil, mais uma vez os criminosos digitais aplicam técnicas humanas para ultrapassar os limites de uma nova tecnologia. Da mesma forma que estratégias psicológicas e de engenharia social são usadas para fazer pressão sobre um correntista de banco para que a pessoa transfira dinheiro para o criminoso, agora é a vez do agente de IA ser manipulado a partir das características de sua personalidade.

“Isso amplia a superfície de ataque de uma forma nunca vista antes: as vulnerabilidades emocionais de um ativo digital são exploradas para que o agente de IA aja contra seu criador, a empresa usuária. É um novo e destrutivo patamar de vulnerabilidade”, avalia o especialista.

Isso envolve um ataque denominado “Sequestro de Objetivos do agente”. Neste caso, os objetivos, a missão registrada no DNA do agente é alterada por meio de injeção de prompt, contexto corrompido ou desvio do plano. “O agente de IA fica vulnerável a raciocínios inseguros e fora de conformidade que são disparados contra ele em várias etapas. Trata-se de uma sequência de ataques usando engenharia social que visa a rendição do agente de IA ao criminoso. É um bullying implacável, realizado a partir de um script personalizado para o alvo em questão.”

Análise das palavras usadas para manipular o agente de IA

Uma forma de aumentar a resiliência do agente de IA com Persona é utilizar soluções de cybersecurity que usam a análise semântica, de contexto e de intenção para validar cada interação com o agente de IA. “Protege-se interações entre um ser humano e o agente de IA, entre dois agentes de IA, e entre o agente de IA e as grandes plataformas, de IA ou não, utilizadas pela organização”, explica Rafael Sampaio, evangelista de IA da F5 Brasil. Cada ação manipulativa do agente de IA malicioso contra o agente de IA com personalidade é realizada por meio de palavras que buscam quebrar as defesas do ativo digital.