Por redação AIoT Brasil

Apontado como um dos padrinhos da IA, o cientista da computação canadense Yoshua Bengio anunciou na primeira semana de junho a criação da LawZero, uma organização sem fins lucrativos que pretende atuar como uma proteção contra o uso prejudicial da tecnologia. Em seu site pessoal, Bengio disse que a iniciativa é uma “resposta às evidências de que os atuais modelos de IA de ponta apresentam capacidades e comportamentos cada vez mais perigosos, incluindo engano, trapaça, mentira, hacking, autopreservação e, de forma mais geral, desalinhamento de objetivos”.

Trata-se de uma meta ambiciosa, mas prestígio e reputação não faltam a Bengio, que é professor na Universidade de Montreal e em 2018 ganhou o prêmio Turing, tido como o “Nobel da computação”, ao lado de Geoffrey Hinton, que depois recebeu o Nobel de física, e Yann LeCun, cientista-chefe de IA da Meta. Dedicado à proteção das pessoas, ele assinou o recente relatório internacional sobre segurança da IA, que alertou que agentes autônomos poderiam causar interrupções graves ao se tornarem capazes de completar sequências longas de tarefas sem supervisão humana.

“A pesquisa da LawZero ajudará a desbloquear o imenso potencial da IA ​​de maneira a reduzir a probabilidade de uma série de perigos conhecidos, entre os quais viés algorítmico, uso indevido intencional e perda de controle humano. Estou profundamente preocupado com os comportamentos que sistemas de IA descontrolados já estão começando a exibir, especialmente tendências à autopreservação e ao engano”, explicou Bengio.

Ele disse que o conceito da LawZero surgiu em 2023, a partir de suas reflexões a respeito das profundas implicações potenciais da IA para a humanidade e pela falta de garantias de que as tecnologias avançadas não vão prejudicar as pessoas, por conta própria ou por instruções humanas. “A LawZero é a resposta construtiva da minha equipe a esses desafios. A organização está explorando uma abordagem para a IA que seja não apenas poderosa, mas também fundamentalmente segura. No cerne de todo sistema de fronteira da IA, deve haver um princípio norteador acima de tudo: a proteção da alegria e do esforço humano”, acrescentou.

Nessa fase inicial, a LawZero conta com um financiamento de aproximadamente US$ 30 milhões e mais de uma dezena de pesquisadores, que desenvolvem um sistema chamado Scientist AI, que atuará como uma proteção contra agentes de IA que ofereçam algum tipo de risco. Segundo Bengio, o Scientist faria o papel de um psicólogo que pode entender e prever mau comportamento de um modelo de IA.