12-факторные агенты: модели надежных приложений LLM — Декс Хорти, HumanLayer

Привет, меня зовут Декс. Я уже некоторое время работаю над агентами ИИ. Я перепробовал все существующие фреймворки для агентов: от plug-and-play crew/langchains до «минималистичных» smolagents и «продакшн-класса» langraph, griptape и т.д. Я общался со многими действительно сильными основателями, которые создают действительно впечатляющие вещи с использованием ИИ. Большинство из них сами разрабатывают стек. Я не вижу большого количества фреймворков для агентов, работающих с клиентами в продакшене. Я был удивлён, обнаружив, что большинство продуктов, позиционирующих себя как «агенты ИИ», не так уж и хороши. Многие из них представляют собой детерминированный код с этапами LLM, вкрапленными в нужные моменты, чтобы сделать процесс поистине волшебным. Агенты, по крайней мере хорошие, не следуют шаблону «вот вам подсказка, вот пакет инструментов, цикл, пока не достигнете цели». Скорее, они состоят в основном только из программного обеспечения. Итак, я решил ответить на вопрос: Какие принципы мы можем использовать для создания программного обеспечения на базе LLM, которое действительно будет достаточно хорошим для использования в реальных условиях? Краткая версия: 12 факторов Даже если LLM будут продолжать экспоненциально расти в мощности, будут существовать основные инженерные методы, которые сделают программное обеспечение на базе LLM более надежным, масштабируемым и простым в обслуживании. Как мы пришли к этому: краткая история программного обеспечения Фактор 1: От естественного языка к вызовам инструментов Фактор 2: Отвечайте за подсказки Фактор 3: Отвечайте за контекстное окно Фактор 4: Инструменты — это всего лишь структурированные выходные данные Фактор 5: Унифицируйте состояние выполнения и бизнес-состояние Фактор 6: Запуск/Пауза/Возобновление с помощью простых API Фактор 7: Связь с людьми посредством вызовов инструментов Фактор 8: Отвечайте за поток управления Фактор 9: Компактное отображение ошибок в контекстном окне Фактор 10: Компактные, сфокусированные агенты Фактор 11: Запускайте из любой точки мира, встречайтесь с пользователями, где бы они ни находились Фактор 12: Сделайте своего агента не имеющим состояния редуктор ---