Bloomberg — A Microsoft (MSFT) disse que busca evitar que os usuários enganem chatbots de inteligência artificial (IA) para levá-los a executar “coisas incomuns” como roubos de dados.
Novos recursos de segurança estão sendo integrados ao Azure AI Studio, serviço desenvolvido pela OpenAI que permite aos desenvolvedores criar assistentes de IA personalizados usando seus próprios dados, disse a empresa em um post nesta quinta-feira (28).
As ferramentas incluem “escudos de prompt”, projetados para detectar e bloquear tentativas deliberadas — também conhecidas como ataques de injeção de prompt ou jailbreaks — para fazer com que um modelo de IA se comporte de maneira não intencional.
A Microsoft também decidiu abordar “injeções indiretas de prompt”, casos em que hackers inserem instruções maliciosas nos dados nos quais um modelo é treinado e o induzem a realizar ações não autorizadas, como roubar informações do usuário ou sequestrar um sistema.
Leia mais: Após Meta e Google, OpenAI aposta em modelo de IA que transforma textos em vídeos
Esses ataques são “um desafio e uma ameaça únicos”, disse Sarah Bird, diretora de produtos de IA da Microsoft. As novas defesas foram projetadas para detectar entradas suspeitas e bloqueá-las em tempo real, acrescentou ela. A Microsoft também lança um recurso que alerta os usuários quando um modelo inventa informações ou gera respostas erradas.
A Microsoft está empenhada em aumentar a confiança em suas ferramentas de IA generativa, utilizadas tanto por consumidores como por clientes empresariais.
Em fevereiro, a empresa investigou incidentes envolvendo seu chatbot Copilot, que estava gerando respostas estranhas e prejudiciais. Após analisar os incidentes, a Microsoft disse que os usuários tentaram deliberadamente enganar o Copilot para que gerasse essas respostas.
“Certamente vemos isso aumentando à medida que há mais uso das ferramentas, mas também à medida que mais pessoas estão cientes dessas diferentes técnicas”, disse Bird. Os sinais reveladores desses ataques incluem fazer uma pergunta ao chatbot várias vezes.
Bird disse que a Microsoft e a OpenAI estão comprometidas a implantar a IA com segurança e construir proteções em modelos amplos de linguagem subjacentes à IA generativa.
“Entretanto, não se pode depender apenas do modelo”, disse. “Esses jailbreaks, por exemplo, são uma fraqueza inerente à tecnologia do modelo.”
Veja mais em Bloomberg.com
© 2024 Bloomberg L.P.
