Архив метки: LLM

Похоже, что эра AI Slop-а в ресёрче и репортинге уязвимостей заканчивается и начинается эра Высококачественного Хаоса

Похоже, что эра AI Slop-а в ресёрче и репортинге уязвимостей заканчивается и начинается эра Высококачественного ХаосаПохоже, что эра AI Slop-а в ресёрче и репортинге уязвимостей заканчивается и начинается эра Высококачественного ХаосаПохоже, что эра AI Slop-а в ресёрче и репортинге уязвимостей заканчивается и начинается эра Высококачественного ХаосаПохоже, что эра AI Slop-а в ресёрче и репортинге уязвимостей заканчивается и начинается эра Высококачественного ХаосаПохоже, что эра AI Slop-а в ресёрче и репортинге уязвимостей заканчивается и начинается эра Высококачественного Хаоса

Похоже, что эра AI Slop-а в ресёрче и репортинге уязвимостей заканчивается и начинается эра Высококачественного Хаоса. Об этом в своём блоге пишет Daniel Stenberg - создатель и ведущий разработчик проекта curl. В конце прошлого года он показывал статистику багрепортов на HackerOne: подтверждённых уязвимостей становилось меньше, а общее число репортов при этом росло, в основном за счёт низкокачественной AI-генерёнки. Ситуация усугубилась в начале 2026 года до той степени, что 1 февраля curl закрыли свою баг-баунти программу на HackerOne и начали принимать репорты только на GitHub. Но спустя месяц они вернулись на HackerOne ("как только поняли, что GitHub недостаточно хорош") и обнаружили, что характер сдаваемых репортов о проблемах безопасности изменился:

📈 Больше объём, выше качество. Проблема со slop-ом больше не актуальна. Частота поступления репортов выше, чем когда-либо. В последнее время она примерно в два раза выше, чем в 2025 году, который и так более чем вдвое превышал предыдущие годы. Качество выше. Доля подтверждённых уязвимостей вернулась на уровень до эпохи AI в 2024 году и даже превысила его примерно на 15-16%. Кроме того, значительно выросла доля репортов с багами, а не с уязвимостями.

🤖 Почти каждый репорт сейчас в той или иной степени формируется с использованием AI. Это видно по формулировкам, стилю изложения и по тому, что даже повторные репорты об уже известной проблеме выглядят тщательно проработанными ("and also by the fact that they now easily get very detailed duplicates"). Люди вручную не могут так писать. Однако разница по сравнению с прошлым в том, что сейчас большинство таких репортов очень высокого качества.

📊 Такая картина не только с curl. Daniel Stenberg провёл быстрый неформальный опрос в Mastodon, чтобы выяснить, наблюдают ли другие open source проекты аналогичные тенденции. И, как оказалось, да. Представители ряда проектов подтвердили, что также фиксируют данный тренд. Речь о Apache HTTP Server, BIND, curl, Django, Elasticsearch Python client, Firefox, git, glibc, GnuTLS, GStreamer, Haproxy, Immich, libssh, libtiff, Linux kernel, OpenLDAP, PowerDNS, python, Prometheus, Ruby, Sequoia PGP, strongSwan, Temporal, Unbound, urllib3, Vikunja, Wireshark, wolfSSL… Разумеется, конкретные показатели и масштабы различаются, однако это указывает на то, что явление не является специфичным для какого-либо одного проекта. Daniel Stenberg предполагает, что этот список проектов - просто случайная выборка тех, кто увидел его опрос. Проектов наверняка больше.

💥 Взрывной рост количества уязвимостей. Когда команда curl выпустит curl 8.20.0, в конце апреля 2026 года, там пофиксят как минимум шесть новых уязвимостей. Если предположить, что тренд сохранится хотя бы до конца года, а Daniel Stenberg считает это разумным предположением, то в этом году проект curl пофиксит рекордное количество CVE. В 2026 году может быть опубликовано около 50 уязвимостей curl. Что-то подобное должно ожидаться и в других проектах, т.к. тренд универсальный.

Что будет дальше?

🔻 Уязвимости в коде продолжат активно выявлять, т.к. разработчики продолжат косячить при исправлении багов и добавлении новой функциональности.

🔻 Некоторые эксперты предполагают, что с AI ресёрчем и репортингом через несколько лет наступит плато, как было с фаззинг-тестированием. В настоящее время остаётся лишь наблюдать за дальнейшей эволюцией этого процесса.

🔻 Данная лавинообразная динамика, вероятно, ещё больше усилит нагрузку на мейнтейнеров. Ряду проектов будет сложно справляться с ростом бэклога без привлечения дополнительной поддержки.

🔻 Можно предположить, что в текущих условиях это также создаёт благоприятные возможности для злоумышленников: используя аналогичные инструменты, они могут находить значительное количество проблем быстрее, чем у проектов появятся ресурсы для их устранения.

🔻 В дальнейшем всем пользователям потребуется обновляться до новых исправленных версий пакетов, что, как ожидается, может занять значительное время.

Таким образом, отрасль, вероятно, ожидает период повышенной нестабильности.

От себя могу добавить, что рост количества исправляемых CVE в Linux-софте (не только в ядре!) виден и в рамках Linux Patch Wednesday. В апреле количество CVE было максимальным (1035) за всё время (май 2024 года исключаем, там высокое значение было связано с изменением алгоритма). Будем наблюдать и анализировать. 😉

Почитываю, что там пишут про Anthropic Claude Mythos

Почитываю, что там пишут про Anthropic Claude Mythos

Почитываю, что там пишут про Anthropic Claude Mythos. От алармизма и восторженных отзывов, что эта вундервафля пачками обнаруживает эксплуатабельные 0-day уязвимости без какого-либо участия человека (и якобы поэтому крайне этичные Anthropic включили режим почтальона Печкина: "я вам её не отдам, у вас документов нету"), всё скатилось к "пирожку с ничем". То есть буквально: в The Register вчера вечером вышла статья "Anthropic's super-scary bug hunting model Mythos is shaping up to be a nothingburger".

Моё мнение по этому поводу: все комментирующие правы! 🙂

🔹 Офигели ли Anthropic со своим бесстыжим маркетингом и нагнетанием необоснованного хайпа? Конечно, да!

🔹 Есть ли подвижки в автоматическом детектировании эксплуатабельных уязвимостей? Безусловно!

Когда CTO Mozilla говорит по поводу 271 уязвимости в Firefox 150, найденных Mythos:

"Мы не увидели ни одной ошибки, которую не смог бы найти высококлассный (elite) исследователь-человек."

Это не критика инструмента, который пока не круче человека. Это суперкомплимент! Вы вообще много высококлассных ресёрчеров знаете? А тех, которые эффективно масштабируются и работают 24/7? 😏 Вот то-то.

Поэтому даже если Mythos - полная ерунда и чистый хайп (в чём я лично сомневаюсь 🤔), расслабляться точно не стоит. "Манхэттенский проект" в области разработки кибероружия уже вовсю идёт и останавливаться не собирается. И там далеко не мифосом единым. Это особенно интересно смотрится в контексте опубликованного на днях манифеста Palantir о милитаризации США (и их сателлитов Германии и Японии), ведущей роли в этом американского бигтеха, новом ИИ-сдерживании (заменяющем сдерживание ядерное). На весь этот надвигающийся мрачняк придётся чем-то отвечать. 🤷‍♂️ И, учитывая разницу в ресурсах и технологическом уровне (включая ИИ) между США и Россией, отвечать придётся как-то асимметрично.

Имхо, для начала неплохо хотя бы прекратить утечку наресёрченных в стране критичных уязвимостей за рубеж. Да-да, кто о чём, а я опять про централизацию репортинга - это важно! Также неплохо бы подумать о том, как хоть в какой-то мере закрыться от цунами низкокачественного нагенерённого кода, в котором искать уязвимости будет особенно просто. Кода, генерируемого, к слову, в основном на сервисах потенциального (или вполне фактического) противника. Что тоже должно поднимать обоснованные вопросики. 😉

Последние несколько месяцев повальное увлечение автоматической кодогенерацией с использованием LLM-агентов (Claude Code, Cursor, Devin и прочих) начало принимать формы массового помешательства

Последние несколько месяцев повальное увлечение автоматической кодогенерацией с использованием LLM-агентов (Claude Code, Cursor, Devin и прочих) начало принимать формы массового помешательства

Последние несколько месяцев повальное увлечение автоматической кодогенерацией с использованием LLM-агентов (Claude Code, Cursor, Devin и прочих) начало принимать формы массового помешательства. При этом зачастую его апологеты пропагандируют вещи откровенно вредные. Что уметь программировать больше не нужно. Разбираться во фреймворках и библиотеках - тем более не нужно. Достаточно просто поставить задачу, даже в самом общем виде, волшебному кодогенератору да докинуть токенов облачного AI-сервиса. А дальше ОНО ВСЁ ДЕЛАЕТ САМО! 🪄 И через несколько часов получаешь нужный результат.

А главное, что это не обман. Таким образом действительно можно получить программное решение, которое РАБОТАЕТ (пусть и не с первой итерации). Правда, фиг его знает, как оно написано и какие там могут быть сюрпризы - но кого ж это волнует, правда? 😏

В результате:

🔹 В ширнармассах возникает весьма понятное ощущение - вот оно! 🤑 Теперь для того, чтобы слепить стартап, больше не нужны технари! Волшебная машинка, накормленная токенами, выдаст приложульку сама. А фаундер может целиком посвятить себя окучиванию инвесторов и получению прочих бенефитов.

🔹 Да и состоявшиеся корпорации тоже не прочь по возможности сэкономить на разработчиках. 😇

К чему это приведёт в обозримом будущем? К тому, что разработкой (генерацией) кода начнёт заниматься огромное количество новых игроков, абсолютно незрелых и безответственных. Без какого-либо понимания о процессе безопасной разработки, правильной архитектуре, способах определения уязвимостей в собственном (лол 😅) коде и зависимостях (зачастую в такой же безответственной генерёнке 🤷‍♂️), нормальном выпуске обновлений с бюллетенями безопасности, CVE-шками и прочим.

И будьте покойны, эти новые игроки нагенерят ОГРОМНОЕ количество чёрти как работающего кода. Как коммерческого, так и опенсурсного. Настолько много, что все традиционные более-менее ответственные игроки потеряются на фоне массы этой новой вайбкодерной гопоты. И либо не смогут толком конкурировать с ней, либо сами деграднут до её уровня. 😏

Мы ещё будем с ностальгией вспоминать то благословенное время, когда код писали ручками, профессиональные программисты. Решение проблем с ПО, с которыми мы сталкивались раньше, было сродни плесканию на мелководье. А сейчас на нас надвигается цунами и что с этим делать, не особенно понятно.

Кирилл Ермаков, основатель и CEO vulners.com, поделился историей провала своего стартапа 4Hackers

Кирилл Ермаков, основатель и CEO vulners.com, поделился историей провала своего стартапа 4Hackers

Кирилл Ермаков, основатель и CEO vulners.com, поделился историей провала своего стартапа 4Hackers. Идея была в том, чтобы сделать чат-бот на опенсурсных LLM-ках, у которого не было бы проблем с решением пентестерских задач: написание эксплоитов, составление шаблонов писем для фишинга, разработка сценариев атаки и т.п. То есть c "чувствительными" темами, на которые мейнстримные чатботы общаться не любят. 😉 Кроме того, к 4Hackers были прикручены скрапперы для решения задач OSINT-а. 🕵️‍♂️

В итоге за год проект съел $200 000 из кармана Кирилла и не взлетел. 🗿 4Hackers проработает ещё несколько недель и потом шнур выдернут. 💀

Кирилл подробно перечисляет причины провала, но суммировать их можно так:

💬 Оценка востребованности не проводилась, в итоге был разработан продукт для несуществующих пользователей.

📊 Так как сервис платный и даже без триала, то пользователи не росли и вирусного эффекта не было.

💸 Хостить такой сервис on-prem оказалось супер-дорого. 🤷‍♂️

Qualys анонсировали модуль TotalAI для обеспечения безопасности искусственного интеллекта (AI) и больших языковых моделей (LLM)

Qualys анонсировали модуль TotalAI для обеспечения безопасности искусственного интеллекта (AI) и больших языковых моделей (LLM)

Qualys анонсировали модуль TotalAI для обеспечения безопасности искусственного интеллекта (AI) и больших языковых моделей (LLM). Модуль будет доступен в Q4 2024 в рамках платформы Enterprise TruRisk.

Заявленные фичи:

🔹 Обнаружение и мониторинг AI инфраструктуры организаций. Чтобы не было "shadow LLM".

🔹 Vulnerability Management с фокусом на угрозы AI. Делают акцент на противодействии воровству (извлечению) данных и моделей. Будут предлагать разнообразные способы исправления уязвимостей.

🔹 Специализированное сканирование LLM с упором на prompt injection, воровство модели и раскрытие конфиденциальной информации.

🔹 Compliance Management и управление рисками. Делают акцент на утечках данных. Упоминают GDPR, PCI, CCPA.

Есть скриншот интерфейса со статистикой по моделям и их угрозам. Также там угрозы для связанных активов и занимательные информеры для AI Workloads, AI Software и GPU.