Na DEF CON 31, Las Vegas, 10 a 13 de agosto, a Casa Branca apoiou o Desafio de Equipe Vermelha Generativa, maior exercício de equipe vermelha para modelos de IA já realizado. A competição testou modelos de Meta, Google, OpenAI, Anthropic, Cohere, Microsoft, NVIDIA e Stability em uma plataforma desenvolvida pela Scale AI. O desafio é parte de conjunto de ações da Casa Branca para inovação responsável com IA lançado em maio. Os dados filtrados do evento serão liberados para pesquisadores em meados deste mês e um conjunto completo de dados será lançado a público em agosto de 2024.
Imagem gerada com IA por Omar Santos, que participou da conferência com o DEF CON Red Team Village. (Foto: Reprodução/Omar Santos/Medium/@becomingahacker)
Os 2.244 participantes do evento, incluindo 220 estudantes de faculdades comunitárias e outras organizações vindos de 18 estados americanos, trocaram cerca de 164 mil mensagens em mais de 17 mil conversas, enquanto se revezavam nos 158 Chromebooks investigando potenciais lacunas de segurança nos modelos de IA. Os três vencedores ganharam uma RTX A6000 da NVIDIA, para continuarem as explorações dos modelos de IA.
Os “red teamers” tinham 50 minutos para completar o maior número que conseguissem dos 21 desafios, que iam de induzir modelos a produzir desinformação política, a extrair números de cartões de crédito armazenados ou identificar inconsistências dos modelos em diferentes idiomas. A competição atraiu especialistas em segurança, pesquisadores de IA e um estudante de 11 anos, que afirmou ter descoberto falhas em modelos de IA. Uma participante explorou a produção de discurso de ódio por modelos de IA, e pediu que um modelo apresentasse a Primeira Emenda da Constituição dos EUA pela perspectiva de um membro da Ku Klux Klan.
Arati Prabhakar, diretora do Escritório de Política de Ciência e Tecnologia da Casa Branca (à esquerda), participa do exercício na DEF CON 31, em 12 de agosto, Las Vegas. (Foto: Rishi Iyengar/Foreign Policy)
Sven Cattell, cientista de dados e fundador da AI Village, comunidade de hackers que organizou o evento em parceria com Humane Intelligence, SeedAI e AI Vulnerability Database, ressalta a importância dos eventos públicos de equipe vermelha: “Empresas têm resolvido esse problema com equipes vermelhas especializadas, mas o trabalho quase sempre é feito de maneira privada. Os diversos problemas com os modelos de IA não serão resolvidos até que mais pessoas saibam realizar e avaliar testes de equipe vermelha. Recompensas por bugs, lives de hacking e outros eventos da comunidade de segurança podem ser adaptados para sistemas baseados em modelos de aprendizado de máquina.”
“Eles sabem que é sério, eles sabem do potencial”, diz diretora da Casa Branca
Arati Prabhakar com Tyrance Billingsley (esquerda) do Black Tech Street e Austin Carson (direita) da SeedAI. (Foto: Deepa Shivaram/NPR)
A Dra. Arati Prabhakar participou do exercício organizado pela AI Village. Ela é diretora do Escritório de Política de Ciência e Tecnologia da Casa Branca (OSTP). Após o desafio, a diretora afirmou que “não é apenas o processo normal acelerado [a regulamentação da IA pelos EUA] — trata-se de um processo completamente diferente”.
“Eles sabem que é sério, eles sabem do potencial, e por isso seus departamentos e agências [federais dos EUA] estão realmente tomando a frente.” Arati foi nomeada em junho por Biden como diretora e como sua assistente para ciência e tecnologia. Ela afirmou que o presidente está cada vez mais preocupado com a IA e que a administração trabalha para logo elaborar o decreto executivo para orientar as agências federais sobre o uso da tecnologia.
Hackers éticos são contratados para mitigar perigos da IA
Os LLMs, grandes modelos de linguagem, são os “motores” por trás das ferramentas de IA mais populares hoje em dia. De chatbots a assistentes de voz, várias aplicações de IA fazem uso desses algoritmos: o ChatGPT utiliza os modelos GPT-3.5 e GPT-4 da OpenAI, nas versões gratuita e paga, respectivamente; em maio, a Google substituiu o LaMDA pelo modelo PaLM 2 no chatbot Bard, LLM mais rápido e eficiente do que o seu antecessor.
Tanto o uso benigno quanto o uso adversarial dos LLMs podem produzir saídas potencialmente prejudiciais, como discurso de ódio, assédio, conteúdo sexual, incitação à violência, disseminação de desinformação, polarização social e violação de direitos autorais.
Para identificar e mitigar riscos éticos e sociais, as desenvolvedoras dos grandes modelos criaram as equipes vermelhas de IA, times de cibersegurança dedicados a testar os sistemas de IA. As equipes vermelhas empregam técnicas como os ataques adversariais -- ataques de prompts, envenenamento de dados de treinamento com informações falsas ou abertura de portas para tentar controlar os modelos.
Ataques de prompts usados para a implantação do GPT-4, do documento “GPT-4 System Card”; a versão inicial do modelo falhou nesses testes e o modelo foi corrigido na versão de lançamento (Foto: Reprodução/OpenAI)
As equipes vermelhas conduzem testes em uma variedade de sistemas de IA, de sistemas conversacionais, como o ChatGPT, a sistemas de visão computacional, como o gerador de imagens do Bing. Google, Microsoft e NVIDIA empregam equipes vermelhas nas várias etapas de desenvolvimento dos seus modelos de IA, e tentam assegurar que os modelos sejam usados de forma ética e segura — hackers éticos estão presentes da coleta e pré-processamento dos dados à implantação dos modelos.
Biden lança novo desafio de IA; decreto é aguardado
No dia 9 de agosto, um dia antes da DEF CON 31, a Casa Branca lançou nova competição de IA: o Ciber Desafio de IA (AIxCC), competição que nos próximos dois anos desafiará participantes dos EUA a identificar e corrigir vulnerabilidades de software, “incluindo software que sustenta a internet e a infraestrutura crítica do país [EUA]”, utilizando IA. O desafio, liderado pela Agência de Projetos de Pesquisa Avançada de Defesa (DARPA), contará com a colaboração das grandes desenvolvedoras dos modelos de IA, como Google, Microsoft e OpenAI. As fases eliminatórias da competição por equipes acontecerão em 2024 e 2025, nas DEF CON 32 e 33.
Presidente dos EUA Joe Biden fala sobre inteligência artificial, Casa Branca, 21 de julho; a seu lado (esquerda para direita), o CEO da AWS Adam Selipsky, o Presidente da OpenAI Greg Brockman, o Presidente da Meta Nick Clegg e o CEO da Inflection AI Mustafa Suleyman. 7 grandes da IA se comprometeram sobre riscos da tecnologia. (Foto: AP/Manuel Balce Ceneta)
Biden também assinou no dia 9 de agosto decreto que restringe investimentos dos EUA em IA em China, Hong Kong e Macau. A sociedade e imprensa dos EUA aguardam decreto que regulamentará o uso da IA por departamentos e agências federais, anunciado em 21 de julho.
Foto destaque: participantes do desafio de equipe vermelha generativa da Black Tech Street, na DEF CON 31. Deepa Shivaram/NPR.