Архив метки: LLM

Последние несколько месяцев повальное увлечение автоматической кодогенерацией с использованием LLM-агентов (Claude Code, Cursor, Devin и прочих) начало принимать формы массового помешательства

Последние несколько месяцев повальное увлечение автоматической кодогенерацией с использованием LLM-агентов (Claude Code, Cursor, Devin и прочих) начало принимать формы массового помешательства

Последние несколько месяцев повальное увлечение автоматической кодогенерацией с использованием LLM-агентов (Claude Code, Cursor, Devin и прочих) начало принимать формы массового помешательства. При этом зачастую его апологеты пропагандируют вещи откровенно вредные. Что уметь программировать больше не нужно. Разбираться во фреймворках и библиотеках - тем более не нужно. Достаточно просто поставить задачу, даже в самом общем виде, волшебному кодогенератору да докинуть токенов облачного AI-сервиса. А дальше ОНО ВСЁ ДЕЛАЕТ САМО! 🪄 И через несколько часов получаешь нужный результат.

А главное, что это не обман. Таким образом действительно можно получить программное решение, которое РАБОТАЕТ (пусть и не с первой итерации). Правда, фиг его знает, как оно написано и какие там могут быть сюрпризы - но кого ж это волнует, правда? 😏

В результате:

🔹 В ширнармассах возникает весьма понятное ощущение - вот оно! 🤑 Теперь для того, чтобы слепить стартап, больше не нужны технари! Волшебная машинка, накормленная токенами, выдаст приложульку сама. А фаундер может целиком посвятить себя окучиванию инвесторов и получению прочих бенефитов.

🔹 Да и состоявшиеся корпорации тоже не прочь по возможности сэкономить на разработчиках. 😇

К чему это приведёт в обозримом будущем? К тому, что разработкой (генерацией) кода начнёт заниматься огромное количество новых игроков, абсолютно незрелых и безответственных. Без какого-либо понимания о процессе безопасной разработки, правильной архитектуре, способах определения уязвимостей в собственном (лол 😅) коде и зависимостях (зачастую в такой же безответственной генерёнке 🤷‍♂️), нормальном выпуске обновлений с бюллетенями безопасности, CVE-шками и прочим.

И будьте покойны, эти новые игроки нагенерят ОГРОМНОЕ количество чёрти как работающего кода. Как коммерческого, так и опенсурсного. Настолько много, что все традиционные более-менее ответственные игроки потеряются на фоне массы этой новой вайбкодерной гопоты. И либо не смогут толком конкурировать с ней, либо сами деграднут до её уровня. 😏

Мы ещё будем с ностальгией вспоминать то благословенное время, когда код писали ручками, профессиональные программисты. Решение проблем с ПО, с которыми мы сталкивались раньше, было сродни плесканию на мелководье. А сейчас на нас надвигается цунами и что с этим делать, не особенно понятно.

Кирилл Ермаков, основатель и CEO vulners.com, поделился историей провала своего стартапа 4Hackers

Кирилл Ермаков, основатель и CEO vulners.com, поделился историей провала своего стартапа 4Hackers

Кирилл Ермаков, основатель и CEO vulners.com, поделился историей провала своего стартапа 4Hackers. Идея была в том, чтобы сделать чат-бот на опенсурсных LLM-ках, у которого не было бы проблем с решением пентестерских задач: написание эксплоитов, составление шаблонов писем для фишинга, разработка сценариев атаки и т.п. То есть c "чувствительными" темами, на которые мейнстримные чатботы общаться не любят. 😉 Кроме того, к 4Hackers были прикручены скрапперы для решения задач OSINT-а. 🕵️‍♂️

В итоге за год проект съел $200 000 из кармана Кирилла и не взлетел. 🗿 4Hackers проработает ещё несколько недель и потом шнур выдернут. 💀

Кирилл подробно перечисляет причины провала, но суммировать их можно так:

💬 Оценка востребованности не проводилась, в итоге был разработан продукт для несуществующих пользователей.

📊 Так как сервис платный и даже без триала, то пользователи не росли и вирусного эффекта не было.

💸 Хостить такой сервис on-prem оказалось супер-дорого. 🤷‍♂️

Qualys анонсировали модуль TotalAI для обеспечения безопасности искусственного интеллекта (AI) и больших языковых моделей (LLM)

Qualys анонсировали модуль TotalAI для обеспечения безопасности искусственного интеллекта (AI) и больших языковых моделей (LLM)

Qualys анонсировали модуль TotalAI для обеспечения безопасности искусственного интеллекта (AI) и больших языковых моделей (LLM). Модуль будет доступен в Q4 2024 в рамках платформы Enterprise TruRisk.

Заявленные фичи:

🔹 Обнаружение и мониторинг AI инфраструктуры организаций. Чтобы не было "shadow LLM".

🔹 Vulnerability Management с фокусом на угрозы AI. Делают акцент на противодействии воровству (извлечению) данных и моделей. Будут предлагать разнообразные способы исправления уязвимостей.

🔹 Специализированное сканирование LLM с упором на prompt injection, воровство модели и раскрытие конфиденциальной информации.

🔹 Compliance Management и управление рисками. Делают акцент на утечках данных. Упоминают GDPR, PCI, CCPA.

Есть скриншот интерфейса со статистикой по моделям и их угрозам. Также там угрозы для связанных активов и занимательные информеры для AI Workloads, AI Software и GPU.