Memorando de Joe Biden relaciona a IA à segurança nacional
Documento emitido no dia 24 afirma que quando mal utilizada a tecnologia pode “minar instituições e processos democráticos”
29/10/202426/11/2024
Por Ricardo Marques da Silva
A OpenAI acaba de anunciar a realização de novas experiências com red teaming, um método que usa pessoas e IA para explorar de forma estruturada os riscos potenciais de um sistema e já vinha sendo aplicado pela empresa em alguns de seus produtos. Com o apoio de especialistas externos chamados de “red teamers”, estão sendo testados novos modelos de fronteira, enquanto é desenvolvido um processo automatizado mais eficaz e seguro.
Esses avanços foram resumidos em um comunicado publicado no site oficial da OpenAI. “Como os sistemas de IA estão evoluindo em ritmo acelerado, é essencial entender as experiências dos usuários e os riscos potenciais de capacidades aumentadas, incluindo abuso, uso indevido e fatores do mundo real, como nuances culturais”, explicou a OpenAI.
De acordo com a empresa, nenhum processo único consegue capturar todos esses elementos, mas o red teaming, especialmente com a contribuição de uma variedade de especialistas externos independentes, oferece uma maneira proativa de avaliar riscos e testar a segurança de modelos de IA. “Essa abordagem ajuda a construir benchmarks e avaliações de segurança atualizadas que podem ser reutilizadas e aprimoradas ao longo do tempo”, explicou o comunicado.
Para projetar campanhas eficazes com a utilização do método, o primeiro passo é a escolha da composição do grupo de red teaming com base nos objetivos e nas principais áreas de teste. Em seguida, é preciso definir as versões do modelo ou do sistema ao qual os red teamers têm acesso, criar interfaces, instruções e orientação de documentação para a equipe, sintetizar os dados e promover avaliações.
A OpenAI admitiu que, apesar dos benefícios que oferece, o red teaming tem limitações. “Não é uma solução completa para avaliar riscos de IA. Suas limitações incluem a relevância ao longo do tempo, pois o red teaming captura riscos em um momento específico, que pode mudar conforme os modelos evoluem”, disse.
O processo de red teaming, particularmente com sistemas de IA de fronteira, também pode criar riscos de informação e uso indevido: “Por exemplo, expor uma técnica para gerar conteúdo potencialmente prejudicial que ainda não é amplamente conhecido pode acelerar o uso irregular dos modelos por atores mal-intencionados. Gerenciar esse risco requer controle de informações, protocolos de acesso rigorosos e práticas de divulgação responsáveis”, acrescentou a OpenAI.
#Cybersecurity#modelos de fronteira#open AI#red teaming#riscos de IA
Documento emitido no dia 24 afirma que quando mal utilizada a tecnologia pode “minar instituições e processos democráticos”
29/10/2024A quantia é oferecida a pesquisadores de segurança que conseguirem executar um ataque remoto aos dados com código arbitrário
28/10/2024Novo app identifica golpes em mensagens, chamadas de vídeo e redes sociais, oferecendo mais segurança aos consumidores em tempo real
24/10/2024