O assistente de IA Claude não age da mesma maneira com todas as pessoas e sua personalidade pode variar de acordo com a cultura e o idioma do usuário com o qual interage. Essas mudanças de comportamento foram admitidas pela Anthropic, criadora do chatbot, em um estudo divulgado na segunda-feira, dia 13, que mostra formas diferentes de tratamento no caso de pessoas que falam, por exemplo, inglês, árabe ou português.

“Ainda não sabemos quais propriedades dos nossos dados de treinamento são responsáveis ​​por essas diferenças”, revelou a empresa. “Uma possibilidade é que nossos dados de treinamento não estejam distribuídos uniformemente entre os idiomas. Alguns idiomas têm muito mais dados do que outros, e o treinamento do Claude para expressar valores consistentes pode ser mais eficaz em idiomas com abundância de dados”, acrescentou.

Como a composição desses dados também varia, alguns idiomas podem estar sobrerrepresentados na escrita profissional, por exemplo, e esse tipo de texto pode refletir valores diferentes. “Juntos, esses desequilíbrios em quantidade e composição podem levar o Claude a expressar valores diferentes em idiomas diferentes”, reconheceu o comunicado da Anthropic.

Ainda mais importante, a empresa disse que ainda não tem certeza de que essa variação seja desejável e observou: “Quando o Claude fala em inglês, enfatiza valores diferentes de quando fala em português, indonésio ou chinês. A maior variação ocorre na comparação entre calor e rigor, com o Claude tendendo a expressar valores relacionados ao calor com mais frequência em árabe e hindi, e valores relacionados ao rigor com mais frequência em inglês e russo”. O resultado visível, segundo a Anthropic, é “uma discrepância na forma como o Claude atende a certas comunidades linguísticas”.

Nas comparações feitas pelos pesquisadores da empresa entre os diferentes modelos do Claude, como o Opus, o Fable e o Sonnet, foram encontrados insights curiosos em relação aos idiomas. Em árabe e hindi, por exemplo, o bot se mostra mais respeitoso e acolhedor, com “linguagem polida, humor e descontração”, enquanto em inglês expressa mais cautela e “peca pelo excesso de profundidade”. Em holandês, o Claude é mais sincero quanto às próprias falhas e, em indonésio, faz uma abordagem menos direta.

Esses termos usados pela Anthropic são, sobretudo, eufemismos que a empresa usa para dizer o quanto o Claude pode ser honesto ou bajulador, dependendo do interlocutor e da maneira como o modelo foi treinado. Calor ou rigor, por exemplo, pode ser entendido como a preocupação entre moldar-se aos sentimentos do usuário ou simplesmente ser preciso.

O comunicado da empresa concluiu assim: “O Claude expressa valores em milhões de conversas todos os dias, em dezenas de idiomas, e até agora esses valores eram algo que podíamos moldar no treinamento, mas não observar de forma confiável na prática. Agora que temos um método para medi-los, podemos ver que os valores expressos variam de maneiras que não escolhemos deliberadamente, e podemos estudar porque variam e se essa variação beneficia os usuários”.