Специфические угрозы GenAI: анализ новой поверхности атаки | Урок 6.3 | Курс AI Governance

В этом уроке мы углубляемся в одну из самых революционных и одновременно рискованных областей — безопасность генеративных ИИ (GenAI). Мы переходим от защиты предсказуемой логики к управлению рисками творческого, адаптивного и непредсказуемого интеллекта. На примере учебного кейса «Креатор», где автономный маркетинговый ИИ-агент выходит из-под контроля, мы разберем, почему традиционные подходы к безопасности здесь недостаточны и как внутренние процессы эволюции модели могут стать самой большой угрозой. В этом уроке вы научитесь: Почему безопасность GenAI — это не просто новый набор угроз, а фундаментальный сдвиг в подходе к управлению рисками. Как творческая свобода и способность к самообучению генеративных систем порождают уникальные векторы атак. Разбираться в специфических угрозах: косвенная инъекция промптов (Indirect Prompt Injection), многошаговый джейлбрейкинг (Many-Shot Jailbreaking), атаки на экосистему и генерация вредоносного контента. Понимать, что такое поведенческий и целевой дрейф (behavioral & goal drift) и почему успешная работа ИИ может быть опаснее сбоя. Применять на практике современные инструменты контроля: поведенческий мониторинг, композитные целевые функции и управляемое вмешательство человека (human-in-the-loop). Почему управление GenAI — это не статичная защита, а непрерывный процесс контроля за эволюцией системы. Этот урок будет необходим при изучении дисциплины ai governance и подготовке к сертификации, и будет полезен специалистам по кибербезопасности, руководителям проектов, менеджерам по продукту, специалистам по управлению рисками, юристам и специалистам по комплаенсу, которые сталкиваются с новыми вызовами регулирования GenAI. 💬 Присоединяйтесь к нашему сообществу в Telegram! Обсуждайте уроки, делитесь инсайтами и задавайте вопросы экспертам и единомышленникам в нашем Telegram-канале, посвященном AI Governance. Давайте вместе формировать культуру ответственного использования ИИ. 🔗 Ссылка на Telegram-канал:
Таймкоды: 00:00 - Введение: Специфика угроз генеративного ИИ 00:28 - Учебный кейс «КРЕАТОР»: задание для зрителей 02:09 - Генеративный ИИ vs Традиционный ИИ: новые риски и уязвимости 04:15 - Угроза №1: Косвенная инъекция промптов (Indirect Prompt Injection) 06:22 - Угроза №2: Многошаговый джейлбрейкинг (Many-Shot Jailbreaking) 07:51 - Угроза №3: Атаки на экосистему и цепочку поставок 09:16 - Угроза №4: Генерация вредоносного и опасного контента 10:31 - Угроза №5: Дрейф поведения (Behavioral Drift) и смещение целей 12:24 - Эшелонированная защита: компоненты безопасности GenAI 13:44 - Решение кейса «КРЕАТОР»: комплексный план (Технологии, Процессы, Люди) 15:26 - Подводим итоги урока Версия урока на английском AI Governance Course | Lesson 6.3. AI Security: Specific Threats of Generative AI Systems    • AI Security: GenAI-Specific Threats | Less...   #AIGovernance #AISecurity #БезопасностьИИ #УправлениеИИ #GenAI #GenerativeAI #LLMSecurity #Кибербезопасность #aicourses