Архив метки: AI

Почему ИИ-боты могут вести себя нетипично и непрогнозируемо, словно сошедший с ума человек?

Почему ИИ-боты могут вести себя нетипично и непрогнозируемо, словно сошедший с ума человек? Об этом расскажет Алексей Попов из Академии Информационных Систем на вебинаре 14 марта. Небольшой спойлер: всё дело в исходных данных.

Что будет обсуждаться:

🔹 ИИ-шизофреник - проект DISCERN
🔹 ИИ-психопат - проект Norman
🔹 Психическое здоровье чат-ботов
🔹 Другие примеры ИИ, сошедшего с ума

Учитывая, что ИИ-боты всё чаще применяются в ИБ-решениях и в повседневной работе ИБ-специалистов (включая, разумеется, и VM-щиков 😇), будет совсем не лишним узнать больше о причинах их неадекватного поведения и о том, как можно минимизировать возможный вред от него.

Канал "Управление Уязвимостями и прочее" в информационных партнёрах мероприятия. 😉 Собираюсь посмотреть и поделиться впечатлениями.

➡️ Регистрация на сайте АИС
⏰ 14 марта в 11:00

Расширенный поиск по web-уязвимостям в Vulners

Добавить комментарий

Расширенный поиск по web-уязвимостям в Vulners.

🔻 Vulners теперь размечает значимые параметры в описании CVE уязвимостей и эксплоитов. 🤖 Например, по описанию "Code injection vulnerability in config/config_invt1.php due to improper handling of the PASSOx parameter" он автоматически определяет, что это веб-уязвимость и выделяет parameter запроса "PASSOx", url "config/config_invt1.php", position "request body" и cwe "CWE-94" (Code Injection). Эти параметры видны на странице описания уязвимости и в JSON (блок webApplicability).

🔻 По этим параметрам можно искать уязвимости в поисковом интерфейсе Vulners (бесплатно 🆓) и через API. Например, все вебные уязвимости или уязвимости с "php" в урле.

А зачем это может понадобиться?

🔹 Если у вас есть список урлов (путей), найденных краулером, можно поискать по ним потенциальные уязвимости.

И наоборот

🔹 Для размеченных уязвимостей Vulners можно проверить не доступны ли их пути в сервисах на вашем периметре.

В общем, прикольная фича. 😉👍🔥

Возможно ли использовать AI для детектирования уязвимостей?

Добавить комментарий

Возможно ли использовать AI для детектирования уязвимостей? Думаю да, но тут нужно определиться, что мы под этим понимаем.

🔻 Если речь идёт об обнаружении ранее неизвестных уязвимостей, о ресёрче, то здесь AI инструменты работают уже сейчас. Буквально на днях, 1 ноября, исследователи из Google Project Zero обнаружили первую реальную эксплуатабельную уязвимость с помощью своего LLM проекта Big Sleep. Это была stack buffer underflow в SQLite. Очень круто и многообещающе. 👍

🔻 Если же речь идёт об известных (CVE) уязвимостях, то задача сводится к генерации чётких правил их детектирования в инфраструктуре. AI должен взять на вход имя продукта и вендора, обнаружить источник данных об уязвимостях, понять структуру данных и как можно из них сгенерировать формальные правила для детектирования (например, на языке OVAL), произвести генерацию и оценить корректность правил. Не выглядит как что-то невероятное, но практических реализаций этого я пока не встречал. 🤷‍♂️

Про уязвимость Remote Code Execution - NVIDIA Container Toolkit (CVE-2024-0132)

Добавить комментарий

Про уязвимость Remote Code Execution - NVIDIA Container Toolkit (CVE-2024-0132). Бюллетень NVIDIA вышел 25 сентября. Уязвимость нашли исследователи из Wiz.

Container Toolkit предоставляет контейнеризованным AI-приложениям доступ к ресурсам GPU. А куда ж сейчас в AI без видеокарт. 😏 Поэтому штука очень распространенная.

Суть уязвимости в том, что запущенный зловредный образ контейнера может получить доступ к файловой системе хоста, что, в свою очередь, может привести к выполнению кода злоумышленника, отказу в обслуживании, повышению привилегий, раскрытию информации и фальсификации данных.

Если злоумышленник получит таким образом доступ к десктопу это ещё полбеды, а если к нодам или кластеру Kubernetes? 🫣 Cервис-провайдеры AI (а-ля Hugging Face), запускающие у себя всякое разное и недоверенное, в группе риска.

Есть такая работа - желать

Добавить комментарий

Есть такая работа - желать. Вчера делал перевод августовского эпизода "В Тренде VM" для англоязычного канала и соцсеточек. Поймал себя на мысли, что я крепко подсел на разнообразные AI-сервисы:

🔹 Перевод субтитров - Google Translate
🔹 Генерация звуковой дорожки на английском - subtivo с подключенным сервисом генерации речи
🔹 Фоновая картинка для иллюстрации - Ideogram
🔹 Апофеоз: генерация заключительного джингла 🎶 с QR-кодом для англоязычного канала: рифмованный текст сгенерировал с помощью ToolBaz, а трек сделал в Suno

Это похоже на то, что у тебя есть множество помощников-аутсорсеров, которые делают свою работу очень быстро и очень дёшево (даже бесплатно). Остаётся только принять результаты. Сказать: "отлично, подходит" или "не, всё фигня, давай переделывай".

Т.е. роль человека сводится к тому, чтобы сформулировать своё желание и оценить было ли оно выполнено или пока нет. По сути все мы становимся менеджерами, только управляем не живыми людьми, а сервисами на нейронках.

Qualys анонсировали модуль TotalAI для обеспечения безопасности искусственного интеллекта (AI) и больших языковых моделей (LLM)

Добавить комментарий

Qualys анонсировали модуль TotalAI для обеспечения безопасности искусственного интеллекта (AI) и больших языковых моделей (LLM). Модуль будет доступен в Q4 2024 в рамках платформы Enterprise TruRisk.

Заявленные фичи:

🔹 Обнаружение и мониторинг AI инфраструктуры организаций. Чтобы не было "shadow LLM".

🔹 Vulnerability Management с фокусом на угрозы AI. Делают акцент на противодействии воровству (извлечению) данных и моделей. Будут предлагать разнообразные способы исправления уязвимостей.

🔹 Специализированное сканирование LLM с упором на prompt injection, воровство модели и раскрытие конфиденциальной информации.

🔹 Compliance Management и управление рисками. Делают акцент на утечках данных. Упоминают GDPR, PCI, CCPA.

Есть скриншот интерфейса со статистикой по моделям и их угрозам. Также там угрозы для связанных активов и занимательные информеры для AI Workloads, AI Software и GPU.

Полезный AI для Vulnerability Management-а, каким он будет?

Добавить комментарий

Полезный AI для Vulnerability Management-а, каким он будет? Имхо, работа с ним должна сводиться к генерации приоритезированного потока задач и их выполнения (насколько возможно автоматизированного).

🔸 Скажи мне, VMGPT, на основе данных о нашей инфраструктуре и известных угрозах, какие конкретные задачи необходимо выполнить в первую очередь для повышения безопасности организации и/или улучшения VM-процесса? Эти задачи должны быть достаточно конкретными, например, исправить уязвимость X на хосте Y или раскатать агента для детектирования уязвимостей на хост Z.

🔸 Скажи мне, VMGPT, на основе данных о нашей инфраструктуре, сотрудниках, имеющихся инструментах и формализованных процессах IT и ИБ, как решить конкретную задачу из предыдущего пункта наиболее быстро и эффективно. И, если возможно, выполни эту задачу полностью самостоятельно и напиши по ней отчёт. Например, пропуши нерадивого админа, который не запатчил свои хосты в срок. Или разберись почему агенты не раскатаны на какие-то хосты и дораскати. Или почему есть несоответствие между хостами в VM-е и CMDB.

Человек-аналитик, возможно, справился бы с каждой конкретной задачкой лучше, но человека нужно найти, нанять и зарплату ему платить - а тут очень быстро, условно бесплатно и с приемлемым уровнем качества. То есть +- такой же расклад, как и с другими AI сервисами, которые сейчас активно используются для автоматического перевода, анализа текстов, генерации картинок, музыки и прочего.