Алекс Стамос из Cognition: нейросети сломали кибербезопасность

Алекс Стамос из Cognition: нейросети сломали кибербезопасность

В подкасте Decoder (The Verge) вышло интервью с Алексом Стамосом, директором по безопасности (CSO) компании Cognition, давним экспертом по кибербезопасности и лектором Центра киберполитики Стэнфордского университета. Ведущий подводит к тому, что многомиллиардная индустрия кибербезопасности в привычном виде «просрочена» из-за непрерывных волн взломов, усиленных ИИ. По словам ведущего, и частные группы, и государственные акторы, например из России или Северной Кореи, взламывают системы, а ИИ помогает им одновременно находить и эксплуатировать уязвимости. Стамос не пессимист в долгосрочной перспективе, но ожидает «тёмные века», пока отрасль учится приспосабливаться.

Стамос описывает прошедший октябрь («месяц осведомлённости о безопасности») как серию громких событий: несколько крупных багов в PHP и Node, а главное, множество взломанных компаний. Подряд были взломаны ИИ-компании, так называемые neocloud (облака для ИИ-вычислений); Стамос называет взлом Binance крупнейшим ограблением в истории человечества. Отдельно он выделяет инцидент с Cursor и то, что взломы сцепляются друг с другом. По его словам, «из того, что известно сейчас», у поставщика ИИ-сервисов Fireworks были украдены API-ключи, с их помощью проникли в Cursor и разослали вредоносный плагин, который дошёл ещё до 5000 компаний, то есть до 5000 потенциальных взломов. Знакомый Стамоса, директор по информационной безопасности (CISO), спросил у нескольких знакомых: «Кто-нибудь ещё устал?», все ответили «да»: защитники, по словам Стамоса, весь октябрь и начало ноября живут в режиме DEFCON 2.

На вопрос, кто стоит за атаками, Стамос отвечает: «разные группы». Главное, по его оценке, в другом: мы в начале взлёта возможностей атакующих, который обеспечивает ИИ, модели с открытыми весами дошли до уровня, когда можно автоматизировать большую часть «цепочки атаки» (kill chain, термин позаимствован у военных: шаги, чтобы воздействовать на цель, украсть данные или деньги, отключить систему). Раньше исследование ПО, поиск уязвимости и написание эксплойтов делались заранее, а затем человек применял готовое против одной цели или сотен и тысяч целей. Теперь цепочка перевернулась: ИИ-система сама смотрит цели, находит баги и пишет эксплойты в реальном времени и взламывает компании.

Стамос называет конкретный инструмент, ARTEX, китайский инструмент с открытым исходным кодом (английский перевод лежит на GitHub). Если подключить к нему в качестве «движка» что-то вроде GLM-5.3 в версии «obliterated», он позволяет взломать поразительное число организаций. Волна началась с трёх южнокорейских банков; на этой неделе, по его словам, пострадали ещё около 200 компаний. Cognition не занимается реагированием на инциденты, но помогает компаниям исправлять баги уже после взлома с помощью своих инструментов. Стамос поражён тем, что крупные многомиллиардные компании ломают скачанным инструментом, по его словам, такого не было давно, это похоже на 90-е. Он сравнивает: ранние DEFCON собирали пару сотен человек, одну секцию докладов, и после каждого доклада казалось, что уязвима каждая компания мира; сегодня DEFCON, 40-60 тысяч человек. Разница в том, что тогда мир не жил в интернете, а автоматизировать такие атаки было нельзя. Сейчас же в игре гораздо больше людей, многие из которых живут там, куда не дотянется полиция, у них есть экономический стимул и доступ к инструментам, и им не нужны передовые модели с защитой и журналами, доступными правоохранителям. Сам Стамос запускает на своём новом Mac квантованную GLM-5.3 «obliterated» и говорит, что её возможности невероятны.

Ведущий замечает, что новая экономика ломает и сложившуюся культуру отрасли: этикет раскрытия багов, отчёты о прозрачности, программы вознаграждения за уязвимости. Стамос отвечает исторически: прошлая эпоха безопасности началась с меморандума Билла Гейтса о «доверенных вычислениях» в начале 2000-х, когда Microsoft, Oracle, позже Amazon и Salesforce стали нанимать бывших хакеров. Из этого выросли ответственное раскрытие уязвимостей, bug bounty, консалтинг (Foundstone, @stake, затем Mandiant и CrowdStrike) и многомиллиардная индустрия. Эта эпоха, по его словам, закончилась, потому что опиралась на допущения. Первое, иерархия навыков: скрипт-кидди, умеющие лишь скачивать инструменты, авторы инструментов, исследователи уязвимостей и «боги», сотни человек, способные на лучшие исследования уязвимостей и шелл-код. Второе, ограниченное число людей, способных участвовать в операциях атаки: у профессиональных команд (в том числе в Cyber Command США, СВР России, МГБ Китая) небольшой элитный отдел исследований и разработки и куда больший оперативный состав, и эту структуру скопировали российские вымогатели; нужен был «заговор» многих людей. Третье, деньги: по словам Стамоса, Bitcoin подорвал допущение, что нужны люди, умеющие отмывать деньги, «Bitcoin означал, что ботаники могут отмывать деньги». Теперь из-за ИИ у скрипт-кидди оказывается значительная часть навыков тех, кого он называет «кибер-богами». Текст источника обрывается на этом месте, дальнейшая часть интервью недоступна.

Ключевые факты

  • Стамос, директор по безопасности Cognition, описывает октябрь как цепочку взломов: neocloud-компании, Binance (по его словам, крупнейшее ограбление в истории человечества), Fireworks и Cursor.
  • По его версии «из того, что известно сейчас», ключи API, украденные у Fireworks, открыли доступ к Cursor, откуда вредоносный плагин ушёл ещё к 5000 компаний, 5000 потенциальных, не подтверждённых взломов.
  • Модели с открытыми весами, считает он, позволяют автоматизировать большую часть цепочки атаки: ИИ в реальном времени ищет цели и баги и пишет эксплойты.
  • Волна на базе китайского открытого инструмента ARTEX с моделью вроде GLM-5.3 «obliterated» началась с трёх южнокорейских банков, на этой неделе, по его словам, пострадали ещё около 200 компаний.
  • Индустрия безопасности 2000-2010-х держалась на допущениях о редких навыках, малом числе операторов и сложности отмывания денег; по Стамосу, ИИ (и ранее Bitcoin) их разрушает.

Почему это важно

Стамос утверждает, что мы находимся в начале «взлёта» возможностей атакующих благодаря ИИ: порог входа падает, потому что взламывать крупные компании можно скачанным инструментом с открытым кодом и открытой моделью, у которой нет защит и журналов для правоохранителей. Он сравнивает происходящее с 90-ми, когда один инструмент мог поставить на колени множество компаний, но теперь весь мир зависит от интернета. Ведущий предупреждает о «тёмных веках» адаптации. Это оценка одного эксперта, а не измеренная статистика.

Кому это важно

Командам информационной безопасности и директорам по ИБ, Стамос говорит об усталости отрасли и режиме DEFCON 2 весь октябрь. Компаниям, которые используют ИИ-сервисы и плагины разработчиков: инцидент с Fireworks и Cursor показывает, как украденные ключи API и вредоносный плагин расходятся по цепочке поставки. Поставщикам услуг безопасности, чей бизнес вырос в 2000-2010-х на допущениях, которые, по Стамосу, больше не работают.

Как это применить

В источнике нет пошаговых рекомендаций: текст оборван на разборе причин кризиса. Практический вывод из рассказа Стамоса ограничен: он описывает, что именно ломается (иерархия навыков, малочисленные команды операторов, дороговизна отмывания денег), и значит, защиту стоит планировать с учётом того, что поиск багов и написание эксплойтов теперь могут идти автоматически и в реальном времени. Cognition, по его словам, помогает исправлять баги после взлома с помощью собственных инструментов.

Можно ли доверять

Это интервью-мнение, а не расследование. Почти все факты, слова Стамоса. Цепочка Fireworks, Cursor подана им с оговоркой «из того, что известно сейчас», заявления Fireworks, Cursor и Binance в тексте не приведены. Цифра 5000, потенциальные, а не подтверждённые взломы; названия трёх банков и примерно 200 пострадавших компаний не указаны. Источник оборван на середине интервью, поэтому части разговора (включая тему дезинформации и «слопа» в соцсетях) не видно. Стамос, сотрудник Cognition, компании, которая продаёт инструменты для исправления багов.

Риски и подводные камни

Самый очевидный риск, принять оценки Стамоса о «взлёте» атакующих за подтверждённый факт: он сам оговаривает, что картина складывается на данный момент. Заявление, что ARTEX с моделью вроде GLM-5.3 позволяет взломать «поразительное число организаций», основано на его словах. Для читателя также важно, что часть сюжета (кто именно за атаками, по Стамосу, «разные группы») остаётся без конкретики, а круг пострадавших назван лишь приблизительно.

«Кто-нибудь ещё устал?»

— знакомый Алекса Стамоса, директор по информационной безопасности (CISO), в пересказе Стамоса