Estrutura de um profissional de segurança para segurança e proteção de IA

In early November, the UK hosted the AI Safety Summit, the first ever global summit on artificial intelligence. It brought together international governments and AI experts to consider the risks of AI and how internationally coordinated efforts can help mitigate them. This summit follows global discussions around AI safety, including the recent U.S. Executive Order on the Safe, Secure, and Trustworthy Development and Use of AI.  

Eu esperava ver uma estrutura ou diretrizes específicas para a segurança da IA saírem da cúpula, mas fiquei desapontada ao não encontrar nenhuma orientação tangível. Nesta postagem do blog, descrevi o tipo de estrutura acionável sobre segurança de IA que eu esperava ver sair da cúpula do meu ponto de vista como profissional sênior de segurança.

Aproveite as novidades da IA para abordar a segurança e proteção

Antes de definir a estrutura, acho importante dar um passo atrás filosófico para entender por que a segurança da IA é um tópico tão importante e por que fiquei tão decepcionada com os resultados do AI Safety Summit deste ano.  

É evidente que a maioria das deficiências de segurança nas tecnologias de rede atuais que usamos hoje podem ser atribuídas às fraquezas na forma como os protocolos dos quais elas dependem foram originalmente arquitetados décadas atrás.  

A segurança não foi uma consideração inicial. Na realidade, raramente é.  

Veja, por exemplo, os protocolos originais para web (HTTP), correio (SMTP) e transferência de arquivos (FTP). Todos eles foram projetados como texto simples, sem qualquer forma de segurança de dados por meio de criptografia. Na época, os criadores não imaginavam um mundo em que informações bancárias, clínicas de pacientes ou informações confidenciais de usuários fossem transmitidas de forma livre e conveniente em todo o mundo por meio desses protocolos de rede simples.  

The same is true for the IPv4 addressing scheme created in the early 1980s described in the IETF (Internet Engineering Task Force) publication RFC 791. Who would have thought at the time that the world could realistically run out of billions of publicly addressable IP addresses? Even so, trying to retrospectively bolt on security typically proves to be both a bottleneck and a disruptive undertaking.  

Generative AI such as OpenAI’s ChatGPT — which marks its first anniversary of public availability this month — has showcased the advances in machine learning and deep learning capabilities. This type of large language model (LLM) can largely mimic the neural networks of the human brain by way of Artificial Neural Networks (ANN). For the first time, the world has witnessed the culmination of various bodies of work over the years towards AI becoming readily usable in offerings such as ChatGPT. All of a sudden, even the possibility of Artificial General Intelligence (AGI) and the theoretically far superior Artificial Super Intelligence (ASI) may not be an exaggeration of fiction titles anymore.

We must take advantage of the fact that AI is still early enough in its evolution to consider its safety and security, especially with the history and baggage of networking and security. An AI safety summit like the one in November 2023, should’ve not only addressed fears but also taken a step back to assess AI safety and security against a holistic view. Unfortunately, I’m not sure this was accomplished; at least not that time round.  

3 domínios principais para segurança e proteção de IA

Para a primeira cúpula internacional proativa sobre segurança e proteção de IA, eu esperava uma mudança tangível da geopolítica para as geopolíticas para abordar os seguintes domínios principais:

• Desenvolvimento, administração e uso final
• segurança
• Ética e jurídico

Esses domínios estão interligados e, portanto, relacionados entre si. Por exemplo, o desenvolvimento de soluções de IA deve abranger os domínios ético e jurídico para reduzir problemas de origem, como preconceito nos dados de treinamento e configuração de camadas ocultas de sistemas de aprendizado profundo. Nem tudo que funciona é a coisa certa a se fazer. Ao mesmo tempo, a proteção da integridade dos dados de treinamento e do processo de desenvolvimento deve ser incluída o mais cedo possível no processo.

Uma estrutura de segurança de IA: o que eu esperava ver no AI Safety Summit

Em cada um dos três domínios, sugeri uma seleção dos principais padrões e estruturas a serem considerados mais detalhadamente, cujo resultado final deve ser iniciar grupos focados na formulação desses padrões e estruturas:

Desenvolvimento, administração e uso final  

• Padrões e estrutura de interface: diretrizes e padrões sobre a interface de IA entre diferentes fornecedores e, em seguida, entre fornecedores e usuários finais, semelhante à API da web com JSON e USB-C para dispositivos físicos. Isso pode permitir uma inovação ainda mais rápida em vários domínios. Um bom exemplo disso é o que a interface de comunicação móvel e Wi-Fi fez para a inovação tecnológica em relógios inteligentes, TVs, drones, carros, ambulâncias etc.

• Padrões e estrutura de diferenciação: políticas que permitem a clara determinação e diferenciação entre obras artísticas originais e obras geradas por IA, como as que temos para proteção de direitos autorais e propriedade intelectual do Gerenciamento de Direitos Digitais (DRM). Uma importante área beneficiária será combater a desinformação e o conteúdo enganoso, como falsificações profundas e interferência eleitoral, pelo menos no nível das mercadorias.

• Lacuna de habilidades de IA: abordar a lacuna de habilidades nas principais áreas de desenvolvimento, administração e uso de IA, de forma semelhante aos esforços em programação de computadores e alfabetização de computadores (incluindo educação de adultos) no boom inicial da computação pessoal até hoje. O objetivo é nivelar o campo de atuação tanto para o desenvolvimento e uso de IA boa quanto ruim de IA publicitária.

segurança

• Singularidade das proteções de formulários: diretrizes e proteções para mesclar IA (como ChatGPT, IA de voz, IA de reconhecimento de imagem, etc.) com hardware real em um único formulário, semelhante aos robôs industriais ou robôs humanóides no futuro. Em última análise, essa capacidade fornece inteligência geral, inteligência artificial, capacidades de interação física no mundo físico. Basicamente, garantir que um robô físico do tipo ChatGPT nunca ligue humanos ou funcione de forma catastrófica. Já existem várias ocorrências em que robôs industriais e carros autônomos falharam e causaram danos ou morte a humanos.

• Risco da IA: proteções contra os riscos impostos pela IA. O ChatGPT já mostrou uso malicioso. Essa área considerará ameaças como a evolução de cargas maliciosas, descoberta e exploração de vulnerabilidades em velocidade recorde, fraude por voz e phishing e sabotagem, como o comprometimento de processos de fabricação ou ataques à cadeia de suprimentos. ․
• Risco para a IA: proteções contra os riscos impostos à própria IA. Isso inclui a exploração do desenvolvimento da IA, dos processos de aprendizado e dos parâmetros de preconceito. Embora existam diretrizes de ética, segurança e uso de IA, elas precisam ser aprimoradas e aprimoradas em relação às práticas de segurança atuais, como codificação segura, DevSecOps e SBOMS na cadeia de suprimentos. Além do lado do consumo, temos políticas semelhantes à lei de uso indevido de computadores, políticas de segurança da empresa sobre uso de computadores e políticas de uso justo.

Ética e Legal  

• Ética cívica da IA: ética e diretrizes sobre o uso da IA em esferas como reconhecimento facial e comportamento do usuário em relação ao monitoramento de funcionários, controle e fiscalização de tráfego e sistema de justiça criminal.

• Ética científica da IA: ética e diretrizes sobre o que a IA pode ser usada para fazer em termos de ciência e medicina. Exemplos são pesquisa genética e de doenças, clonagem, etc.

• Ética militar da IA: desenvolva um conjunto de regras de engajamento do tipo Convenção de Genebra para o uso da IA em operações cinéticas, especialmente em IA autônoma. Isso seria particularmente importante se a IA tomasse decisões de vida ou morte para evitar a possibilidade de consequências não intencionais, como assassinato em massa, uso de armas químicas ou detonação nuclear não intencional.

• Estrutura legal da IA: diretrizes e padrões sobre as implicações legais do envolvimento da IA em várias situações legalmente relevantes. Isso pode incluir cenários como a natureza da evidência admissível em casos legais ou reivindicações financeiras e de seguros e cálculos de aceitação de riscos.

Uma estrutura de segurança e proteção de IA é apenas o começo

É encorajador ver um forte foco no risco de ameaças cibernéticas de IA em escala global. Uma estrutura de segurança de IA é um primeiro passo essencial para construir um futuro de IA inovador e seguro. Mas isso é apenas um ponto de partida. Idealmente, deve haver uma seleção de grupos de elite focados em especialistas em IA e no setor que se unam para desenvolver e iterar padrões de segurança de IA semelhantes aos da Força-Tarefa de Engenharia da Internet (IETF) e da Solicitação de Comentários (RFCs).

Importantly, we must also consider how we can empower organizations to build resilience against AI-powered attacks. AI makes it easier and quicker for criminals to launch attacks. The best defence is reducing the “learning surface” so that there is less opportunity for AI cyber threats to learn, adapt, and progress the attack.  

Contact us today to learn how developments in AI can impact your organization’s cybersecurity.