Memorando de Joe Biden relaciona a IA à segurança nacional
Documento emitido no dia 24 afirma que quando mal utilizada a tecnologia pode “minar instituições e processos democráticos”
29/10/202414/05/2024
Por Ricardo Marques da Silva
Uma equipe de pesquisadores do laboratório Offensive AI Research da Universidade Ben-Gurion, de Israel, comprovou que os hackers conseguem espionar as conversas entre os usuários e a maioria dos chatbots de IA, entre os quais o ChatGPT e o Microsoft Copilot. Em um artigo recente, os cientistas afirmaram que um novo canal lateral de comprimento de token usado por muitos fornecedores pode permitir a leitura de respostas criptografadas de assistentes de IA.
Os pesquisadores disseram que, utilizando um grande modelo de linguagem (LLM), conseguiram reconstruir com precisão 29% das respostas de um assistente de IA e inferir o tema de 55% deles. “Para demonstrar a ameaça, realizamos ataques ao ChatGPT-4 da OpenAI e ao Copilot da Microsoft no tráfego do navegador e da API”, acrescentaram.
De acordo com Yisroel Mirsky, chefe do laboratório israelense, “atores mal-intencionados podem explorar essas vulnerabilidades para espionar bate-papos conduzidos por meio de plataformas como o ChatGPT”.
Embora sejam geralmente menos invasivos, os ataques de canal lateral apresentam riscos significativos, conforme demonstrado pela capacidade dos pesquisadores de inferir prompts de bate-papo com razoável precisão. Essa suscetibilidade torna tópicos sensíveis facilmente detectáveis por atores mal-intencionados.
O artigo lembrou que o ponto central dessas vulnerabilidades é o uso de tokens por chatbots, que facilitam a comunicação eficiente entre usuários e modelos de IA. Embora as transmissões do chatbot sejam normalmente criptografadas, os próprios tokens criam uma vulnerabilidade que antes era ignorada. Entre os chabots mais utilizados, apenas o Gemini do Google e o GitHub Copilot não são suscetíveis a invasões semelhantes.
A partir das informações do artigo, a empresa especializada em software de cibersegurança Kaspersky decidiu analisar as descobertas dos pesquisadores e destacou que os ataques de canal lateral são método em que terceiros recolhem dados passivamente através de metadados ou de outros meios indiretos, em vez de violarem barreiras de segurança.
“Para entender o que acontece durante esse ataque, precisamos nos aprofundar um pouco nos detalhes da mecânica do LLM e do chatbot. A primeira coisa a saber é que os LLMs operam não em caracteres ou palavras individuais, mas em tokens, que podem ser descritos como unidades semânticas de texto”, explicaram os analistas da Kaspersky em uma publicação no blog da empresa.
A empresa ressaltou que os chatbots de IA não enviam respostas em grandes blocos, mas gradualmente, quase como se fossem digitadas por uma pessoa: “Mas, diferentemente de uma pessoa, os LLMs escrevem em tokens, não em caracteres individuais. Como tal, os chatbots enviam tokens gerados em tempo real, um após o outro”.
Além disso, a maioria dos chatbots não usa compactação ou codificação antes de criptografar uma mensagem. “Os ataques de canal lateral exploram todas essas peculiaridades. Embora as mensagens interceptadas do chatbot não possam ser descriptografadas, os invasores podem extrair dados úteis delas. Especificamente, o comprimento de cada token enviado pelo chatbot. O resultado é semelhante ao jogo da forca: você não pode ver exatamente o que está criptografado, mas o comprimento dos tokens de palavras individuais é revelado”, acrescentou a Kaspersky.
Segundo a empresa, pelo menos dois desenvolvedores de chatbots (a Cloudflare e a OpenAI) já responderam ao artigo. “Outros desenvolvedores devem seguir o exemplo, e torcemos para que a comunicação futura com chatbots seja protegida desses ataques”, completou a Kaspersky.
#bots#chatbots#ChatGPT#cibercriminosos#hackers#mensagens criptografadas#tokens
Documento emitido no dia 24 afirma que quando mal utilizada a tecnologia pode “minar instituições e processos democráticos”
29/10/2024A quantia é oferecida a pesquisadores de segurança que conseguirem executar um ataque remoto aos dados com código arbitrário
28/10/2024Novo app identifica golpes em mensagens, chamadas de vídeo e redes sociais, oferecendo mais segurança aos consumidores em tempo real
24/10/2024