Оценки ИИ: наглядное объяснение за 50 минут (реальный пример) | Хамель Хусейн

Сегодня я хочу поделиться новым выпуском с Хамелем Хусейном. Хамел обучил более 2000 менеджеров проектов и инженеров из таких компаний, как OpenAI, Anthropic и Google, проведению оценок ИИ. В новом выпуске он проводит бесплатный мастер-класс по созданию оценок для настоящего ИИ-агента всего за 50 минут с помощью простой электронной таблицы. Я многому научился у Хамела, и думаю, вы тоже. Мы с Хамелем обсудили: (00:00) Что самое ценное в оценках? (01:25) Пошаговое руководство: анализ 100 реальных трассировок в продакшене. (09:50) Создание критериев оценки с помощью простой таблицы. (24:44) Почему двоичные оценки «прошёл/не прошёл» всегда превосходят оценки от 1 до 5. (28:52) Ловушка метрики согласия, которая обманывает большинство менеджеров проектов. (30:08) Объяснение истинно положительных и отрицательных показателей. (36:00) Как настроить непрерывные оценки в продакшене. Подробнее:
Где найти Хамела: X:
Сайт:
📌 Подпишитесь на этот канал — скоро будут новые интервью!