Especialista alertam: ataques com IA quebram senha em horas
Tecnologias avançadas estão sendo usadas por criminosos para a realização de invasões cada vez mais personalizadas e eficazes
24/06/202526/11/2024
Por Ricardo Marques da Silva
A OpenAI acaba de anunciar a realização de novas experiências com red teaming, um método que usa pessoas e IA para explorar de forma estruturada os riscos potenciais de um sistema e já vinha sendo aplicado pela empresa em alguns de seus produtos. Com o apoio de especialistas externos chamados de “red teamers”, estão sendo testados novos modelos de fronteira, enquanto é desenvolvido um processo automatizado mais eficaz e seguro.
Esses avanços foram resumidos em um comunicado publicado no site oficial da OpenAI. “Como os sistemas de IA estão evoluindo em ritmo acelerado, é essencial entender as experiências dos usuários e os riscos potenciais de capacidades aumentadas, incluindo abuso, uso indevido e fatores do mundo real, como nuances culturais”, explicou a OpenAI.
De acordo com a empresa, nenhum processo único consegue capturar todos esses elementos, mas o red teaming, especialmente com a contribuição de uma variedade de especialistas externos independentes, oferece uma maneira proativa de avaliar riscos e testar a segurança de modelos de IA. “Essa abordagem ajuda a construir benchmarks e avaliações de segurança atualizadas que podem ser reutilizadas e aprimoradas ao longo do tempo”, explicou o comunicado.
Para projetar campanhas eficazes com a utilização do método, o primeiro passo é a escolha da composição do grupo de red teaming com base nos objetivos e nas principais áreas de teste. Em seguida, é preciso definir as versões do modelo ou do sistema ao qual os red teamers têm acesso, criar interfaces, instruções e orientação de documentação para a equipe, sintetizar os dados e promover avaliações.
A OpenAI admitiu que, apesar dos benefícios que oferece, o red teaming tem limitações. “Não é uma solução completa para avaliar riscos de IA. Suas limitações incluem a relevância ao longo do tempo, pois o red teaming captura riscos em um momento específico, que pode mudar conforme os modelos evoluem”, disse.
O processo de red teaming, particularmente com sistemas de IA de fronteira, também pode criar riscos de informação e uso indevido: “Por exemplo, expor uma técnica para gerar conteúdo potencialmente prejudicial que ainda não é amplamente conhecido pode acelerar o uso irregular dos modelos por atores mal-intencionados. Gerenciar esse risco requer controle de informações, protocolos de acesso rigorosos e práticas de divulgação responsáveis”, acrescentou a OpenAI.
#Cybersecurity#modelos de fronteira#open AI#red teaming#riscos de IA
Tecnologias avançadas estão sendo usadas por criminosos para a realização de invasões cada vez mais personalizadas e eficazes
24/06/2025Advogado diz que parceria da OpenAI com a Mattel é uma potencial ameaça à LGPD, ao controle parental e aos dados das crianças
23/06/2025Consultoria diz que essa tecnologia de segurança deve conquistar de 10% a 15% do mercado de IA agêntica até 2030
20/06/2025