Это звучит как научная фантастика, но, несмотря на всю шумиху вокруг ИИ, об опасности «похищения людей» стоит поговорить.  Это происходит следующим образом: компании, которые могут позволить себе создавать свои собственные внутренние LLM, используют всю свою ценную интеллектуальную собственность (интеллектуальную собственность, охватывающую все, от разработок, составляющих коммерческую тайну, до маркетинговых кампаний и продуктовых стратегий) в модель, чтобы она генерировала релевантные ответы. По сути, хотя это все еще неразумная модель ИИ, она также является хранилищем всей самой ценной информации, которой располагает компания.  Это делает его фантастической целью для преступников или даже неэтичных конкурентов. Если его можно отравить, чтобы генерировать плохие ответы, клонировать, чтобы дать злоумышленнику больше инсайдерских знаний, чем он знает, что с ним делать, или даже каким-то образом заблокировать с целью получения выкупа, тогда он может нанести компании огромный ущерб.   Компании изо всех сил пытаются защитить свои системы, и в заголовках регулярно говорится о том, что крупные предприятия подвергаются взлому. Модель LLM, содержащая всю информацию о компании, быстро станет излюбленной мишенью для виртуального «похищения».  Будь то адаптация программ-вымогателей для шифрования моделей, их эксфильтрация и уничтожение локальной копии или превращение их в инсайдерскую угрозу (скажем, если LLM интегрирован с системами выставления счетов и финансирования компании без эффективного человеческого контроля), потенциальный риск ибо вред драматичен.  Хуже того, ценность этих моделей будет зависеть от их наличия и доступности внутри компании. Если никто не сможет их использовать, они станут не чем иным, как поглотителем ресурсов. Чтобы иметь ценность, их необходимо использовать эффективно, а это означает, что они должны быть доступными. Как нам согласовать потребность в доступности с потребностью в безопасности в этих системах?  Достаточно ли безопасности программного обеспечения?  Может быть, программно-определяемые сети могут стать решением? Проблема в том, что любое программное решение по своей сути уязвимо для компрометации. А если мы говорим об LLM, интегрированном с административными системами (это уже делается, этика и риски этого - это целая статья - может быть, книга), то это была бы сама простота для злонамеренного партия, чтобы побудить ИИ создать путь для дальнейших атак.  Программные решения и классические устройства, такие как брандмауэры и информационные диоды, определенно имеют место в конструкции безопасной системы искусственного интеллекта, но нечто, имеющее столь большую ценность для компании, оправдывает гораздо более абсолютный подход. Если мы пойдем по старой школе, то в качестве последнего средства любой атаки мы будем говорить об отключении электроэнергии. В конечном счете, если злоумышленник не может изменить законы физики (или не находится внутри центра обработки данных, что маловероятно), отключение сети практически невозможно.  Проблема в том, что отключение и повторное подключение к сети требует времени — звонить сетевому инженеру, чтобы тот подключил или отключил ее каждый раз, когда вы хотите отправить авторизованное приглашение, не кажется лучшим вариантом.  Огненный прорыв Златовласки  Недавно я наткнулся на охранное устройство, которое меня впечатлило, что в наши дни случается нечасто. Это произошло не из-за совершенно новой технологии межсетевого экрана с искусственным интеллектом в квантовой темной сети, как рекламируют в наши дни многие поставщики. Вместо этого это произошло потому, что эта компания взяла очень старую идею, подумала о ней и обновила ее таким образом, чтобы открыть множество возможностей для безопасных сетевых топологий.  Подход прост и практически непревзойден (очевидно, что нет ничего на 100% безопасного, но векторы атак против физического отключения исчезающе редки). По сути,   (в отличие от брандмауэра, конечно) отключает сетевой кабель по команде или подключает его обратно. Это не совсем тот случай, когда в центре обработки данных кто-то дежурит, чтобы манипулировать кабелями по требованию, но это простой способ думать. об этом - за исключением того, что человек может подключить или отключить кабели за долю секунды в ответ на подсказки любым выбранным вами способом. FireBreak  Часто сети управления разделены только межсетевым экраном, тогда как сам FireBreak имеет плоскость управления, полностью внешнюю от сети. Я легко могу представить, как можно связать FireBreak с вашей системой обработки заявок, чтобы физически подключать плоскости управления только во время определенных окон изменений, что делает их недоступными даже для самых привилегированных злоумышленников без прохождения документированного процесса.  «Действуя в так называемую «эру после взлома», индустрия безопасности, похоже, смирилась с идеей, что кибератаки — это вопрос «   , а не «   . В Goldilock мы хотели найти способ дать отдельным лицам и организациям возможность взять на себя большую ответственность и контролировать то, что происходит с их данными. Наш флагманский продукт FireBreak родился из этой идеи. Его аппаратный подход позволяет пользователям физически сегментировать все цифровые активы, от LLM до целых сетей, удаленно, мгновенно и без использования Интернета. когда» если»  Это позволяет пользователям физически подключаться и отключаться, когда это необходимо, из любой точки мира, скрывая любые активы от просмотра и повышая существующую глубину защиты, в том числе от искусственного интеллекта, который, по сути, является всего лишь разновидностью программного обеспечения.  В конечном счете, мы хотим, чтобы люди переосмыслили то, что необходимо хранить в сети, и увидели отход от модели «всегда включен», которая может оставить конфиденциальные данные открытыми. Потому что любые данные, хранящиеся в Интернете, подвергаются риску взлома. Поскольку все больше и больше компаний самостоятельно обучают свои собственные модели LLM, необходимо создать новую сферу вопросов безопасности. Сегментация сети должна быть частью целостной стратегии кибербезопасности, которая не допускает злоумышленников и гарантирует, что их можно будет остановить, если они нарушат внешние параметры».  -- Тони Хасек, генеральный директор и соучредитель Goldilock  Так как же это поможет с похищениями LLM?  Модели LLM большие. Никто не собирается клонировать его за считанные секунды. Их также можно использовать асинхронно — они не зависят от постоянного соединения для генерации ответа на приглашение и могут легко повторно подключиться и отправить его после завершения вместо работы в интерактивном сеансе.  Пользователю не обязательно иметь активный сеанс LLM во время создания приглашения. Им не обязательно иметь активное соединение, пока они ожидают генерации ответа. Подключение только на долю секунды, необходимую для отправки запроса или получения ответа, — это один из очень эффективных способов минимизировать время воздействия угроз.  Такое отключение/повторное подключение происходит слишком быстро, чтобы люди могли заметить какую-либо задержку, а у LLM очень мало вариантов использования, для которых время критично на уровне микросекунд.  Это не единственный уровень безопасности, и существует множество других способов его применения, но об этом определенно стоит подумать.

This story contains new, firsthand information uncovered by the writer.

Этот звук создан на языке оригинала истории!

Заблокируйте свои программы LLM: выдерните вилку

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Рост криптовалют: создание эффективных образов пользователей

Краткое введение в теорию мозга Больцмана

Цифровые кочевники слушают: что нужно знать о новой визе DTV в Таиланде

Telegram: мост Крипто-острова на материк

Рост криптовалют: создание эффективных образов пользователей

Краткое введение в теорию мозга Больцмана

Цифровые кочевники слушают: что нужно знать о новой визе DTV в Таиланде

Telegram: мост Крипто-острова на материк

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps