Por Ricardo Marques da Silva

A OpenAI acaba de anunciar a realização de novas experiências com red teaming, um método que usa pessoas e IA para explorar de forma estruturada os riscos potenciais de um sistema e já vinha sendo aplicado pela empresa em alguns de seus produtos. Com o apoio de especialistas externos chamados de “red teamers”, estão sendo testados novos modelos de fronteira, enquanto é desenvolvido um processo automatizado mais eficaz e seguro.

Esses avanços foram resumidos em um comunicado publicado no site oficial da OpenAI. “Como os sistemas de IA estão evoluindo em ritmo acelerado, é essencial entender as experiências dos usuários e os riscos potenciais de capacidades aumentadas, incluindo abuso, uso indevido e fatores do mundo real, como nuances culturais”, explicou a OpenAI.

De acordo com a empresa, nenhum processo único consegue capturar todos esses elementos, mas o red teaming, especialmente com a contribuição de uma variedade de especialistas externos independentes, oferece uma maneira proativa de avaliar riscos e testar a segurança de modelos de IA. “Essa abordagem ajuda a construir benchmarks e avaliações de segurança atualizadas que podem ser reutilizadas e aprimoradas ao longo do tempo”, explicou o comunicado.

Para projetar campanhas eficazes com a utilização do método, o primeiro passo é a escolha da composição do grupo de red teaming com base nos objetivos e nas principais áreas de teste. Em seguida, é preciso definir as versões do modelo ou do sistema ao qual os red teamers têm acesso, criar interfaces, instruções e orientação de documentação para a equipe, sintetizar os dados e promover avaliações.

A OpenAI admitiu que, apesar dos benefícios que oferece, o red teaming tem limitações. “Não é uma solução completa para avaliar riscos de IA. Suas limitações incluem a relevância ao longo do tempo, pois o red teaming captura riscos em um momento específico, que pode mudar conforme os modelos evoluem”, disse.

O processo de red teaming, particularmente com sistemas de IA de fronteira, também pode criar riscos de informação e uso indevido: “Por exemplo, expor uma técnica para gerar conteúdo potencialmente prejudicial que ainda não é amplamente conhecido pode acelerar o uso irregular dos modelos por atores mal-intencionados. Gerenciar esse risco requer controle de informações, protocolos de acesso rigorosos e práticas de divulgação responsáveis”, acrescentou a OpenAI.