Сайт использует сервис веб-аналитики Яндекс Метрика с помощью технологии «cookie». Пользуясь сайтом, вы даете согласие на использование данной технологии.
В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке. В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL. Полезные ссылки: — Archestra.AI — Блог Simon Willison — Статья “Why AI systems may never be secure, and what to do about it” — Статья “Anthropic: How we built our multi-agent research system” — Статья “An Introduction to Google’s Approach to AI Agent Security” — Google's Approach for Secure AI Agents — Статья “Design Patterns for Securing LLM Agents against Prompt Injections” — Код для статьи "Defeating Prompt Injections by Design" — Статья “CaMeL offers a promising new direction for mitigating prompt injection attacks“ ❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат: 📰 Не любишь чаты, но хочешь оставаться в курсе дел и прокачивать свой IT кругозор? Подписывайся на наш Telegram-канал: там публикуются анонсы новых выпусков, а в комментах идут ценные и горячие обсуждения! 5 тысяч опытных IT-специалистов уже с нами: 👉Предложить себя в подкаст Тайм-коды: 00:00 О чем выпуск 07:45 Примеры уязвимостей 18:00 Уязвимости AI-агентов 20:36 Примеры атак на AI-агентов 25:01 Способы решения проблем уязвимостей 30:50 Летальная триада и защита 36:46 Ограничения категоризации 41:44 Паттерны для защиты агента 01:00:42 Внешние модели и контроль 01:05:24 Заключение
