Parece ficção científica, mas com todo o entusiasmo em torno da IA, vale a pena falar sobre o perigo do “sequestro”.  É assim: as empresas que podem construir os seus próprios LLMs internos colocam toda a sua valiosa propriedade intelectual (propriedade intelectual, abrangendo tudo, desde designs de segredos comerciais a campanhas de marketing e estratégias de produtos) no modelo para gerar respostas relevantes. Essencialmente, embora ainda seja um modelo de IA não senciente, é também um repositório de todas as informações mais valiosas que a empresa possui.  Isso o torna um alvo fantástico para um invasor criminoso ou até mesmo para um concorrente antiético. Se ele puder ser envenenado para gerar respostas ruins, clonado para dar ao invasor mais conhecimento interno do que ele sabe o que fazer, ou até mesmo bloqueado de alguma forma para obter resgate, então poderá causar enormes danos à empresa.   As empresas lutam para proteger os seus sistemas, com manchetes regulares mostrando violações de grandes empresas. Um modelo LLM, contendo tudo sobre a empresa, rapidamente se tornará um alvo favorito para “sequestro” virtual.  Quer se trate de adaptar ransomware para criptografar modelos, exfiltrando-os e destruindo a cópia local, ou subvertendo-os em uma ameaça interna (digamos, se o LLM tiver sido integrado aos sistemas de faturamento e finanças da empresa sem supervisão humana eficaz), o potencial pois o dano é dramático.  Para piorar, o valor desses modelos virá da sua disponibilidade e acessibilidade dentro da empresa. Se ninguém puder usá-los, eles não passarão de um coletor de recursos. Eles devem ser usados de forma eficaz para terem valor, e isso significa que devem ser acessíveis. Como combinamos a necessidade de disponibilidade com a necessidade de segurança nesses sistemas?  A segurança do software é suficiente?  Talvez as redes definidas por software possam ser uma solução? O problema é que qualquer solução de software é inerentemente vulnerável a comprometimentos. E se estamos falando de um LLM que foi integrado a sistemas administrativos (isso já está sendo feito, a ética e os riscos disso são um artigo inteiro - talvez um livro), então seria a própria simplicidade para um malicioso parte para solicitar que a IA crie um caminho para novos ataques.  Soluções de software e dispositivos clássicos, como firewalls e diodos de dados, definitivamente têm um lugar no design de um sistema de IA seguro, mas algo com tanto valor para uma empresa justifica uma abordagem muito mais absoluta. Se formos à moda antiga, o que consideraríamos como último recurso para qualquer ataque é desligar a tomada. Em última análise, a menos que um invasor possa alterar as leis da física (ou esteja dentro do data center, o que é improvável), desconectar a rede é praticamente imbatível.  O problema é que desconectar e reconectar a rede leva tempo - fazer uma ligação para o engenheiro de rede para conectá-la ou desconectá-la toda vez que desejar enviar um prompt autorizado não parece uma boa opção.  O Cachinho Dourado FireBreak  Recentemente me deparei com um dispositivo de segurança que me impressionou, o que não acontece com frequência hoje em dia. Não foi por causa de sua nova tecnologia quântica de firewall de IA dark web, como tantos fornecedores anunciam atualmente. Em vez disso, foi porque é uma empresa que pegou uma ideia muito antiga, pensou nela e a atualizou de uma forma que abre muitas possibilidades para topologias de rede seguras.  A abordagem é simples e imbatível (obviamente nada é 100% seguro, mas os vetores de ataque contra uma desconexão física são extremamente escassos). Essencialmente, o   (em oposição ao firewall, é claro) desconecta o cabo de rede sob comando - ou conecta-o novamente. Não é exatamente ter alguém de plantão no data center para manipular cabos sob demanda, mas essa é uma maneira fácil de pensar sobre isso - exceto que a pessoa pode conectar ou desconectar os cabos em uma fração de segundo em resposta a solicitações de qualquer método que você escolher. FireBreak  Freqüentemente, as redes de gerenciamento são separadas apenas por um firewall, enquanto o próprio FireBreak possui um plano de controle completamente fora de banda da rede. Posso facilmente imaginar vincular o FireBreak ao seu sistema de tickets para conectar fisicamente os planos de gerenciamento apenas durante as janelas de mudança definidas, tornando-os indisponíveis até mesmo para o invasor mais privilegiado sem passar por um processo documentado.  “Operando numa chamada 'era pós-violação', a indústria de segurança parece resignada com a ideia de que os ataques cibernéticos são uma questão de '   e não de '   . Na Goldilock, queríamos encontrar uma maneira de capacitar indivíduos e organizações para que assumam mais responsabilidade e controle sobre o que acontece com seus dados. Nosso principal produto, FireBreak, nasceu dessa ideia. Sua abordagem baseada em hardware permite que os usuários segmentem fisicamente todos os ativos digitais, desde LLMs até redes inteiras, remotamente, instantaneamente e sem usar a Internet. quando' se'  Isso permite que os usuários se conectem e desconectem fisicamente quando necessário, de qualquer lugar do mundo, ocultando quaisquer ativos e melhorando a profundidade de defesa existente, inclusive contra IA, que é essencialmente apenas um tipo de software.  Em última análise, queremos que as pessoas repensem o que precisa ser mantido online e vejam um afastamento do modelo “sempre ligado”, que pode deixar dados confidenciais expostos. Porque quaisquer dados mantidos online correm o risco de serem violados. Com cada vez mais empresas treinando internamente seus próprios modelos de LLM, um novo domínio de considerações de segurança precisa ser feito. A segmentação da rede deve fazer parte de uma estratégia holística de segurança cibernética que mantenha os malfeitores afastados e garanta que eles possam ser detidos se violarem parâmetros externos.”  -- Tony Hasek, CEO e cofundador da Goldilock  Então, como isso ajuda nos sequestros do LLM?  Os modelos LLM são grandes. Ninguém vai clonar um em segundos. Eles também podem ser usados de forma assíncrona - eles não dependem de uma conexão constante para gerar uma resposta a um prompt e podem facilmente reconectar e enviá-lo quando terminar, em vez de trabalhar em uma sessão interativa.  Não há necessidade de um usuário ter uma sessão ativa no LLM enquanto gera um prompt. Não há necessidade de eles terem uma conexão ativa enquanto aguardam a geração da resposta. Conectar-se apenas pela fração de segundo necessária para enviar um prompt ou receber a resposta é uma forma muito eficaz de minimizar o tempo de exposição a ameaças.  Essa desconexão/reconexão acontece muito rapidamente para que os humanos estejam cientes de qualquer atraso, e os LLMs têm muito poucos casos de uso que são críticos em termos de tempo no nível de microssegundos.  Não é a única camada de segurança a ser aplicada e há muitas outras maneiras de aplicá-la, mas definitivamente vale a pena pensar nela.

This story contains new, firsthand information uncovered by the writer.

Este áudio é produzido no idioma original da história!

Bloqueie seus LLMs: Puxando o Plugue

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps