Оценки — это не модульные тесты — Идо Песок, Версель v0

Как оценивать недетерминированную систему и как добиться в этом успеха. Об Идо Песоке Идо Песок — инженер и исследователь в Vercel, работающий над ИИ, лежащим в основе версии 0, и сосредоточенный на создании надежных и интуитивно понятных систем ИИ. Записано на Всемирной выставке AI Engineer в Сан-Франциско. Будьте в курсе наших предстоящих событий и контента, подписавшись на нашу рассылку здесь:
Временные метки: 00:00 Введение в Vercel V0 и её развитие 01:00 Проблема ненадёжности ИИ 02:44 Пример сбоя ИИ в приложении «Fruit Letter Counter» 03:33 Знакомство с «оценками» и аналогия с баскетбольной площадкой 05:09 Определение «площадки»: понимание области пользовательских запросов 07:53 Сбор данных для оценок 09:13 Структурирование оценок: константы в данных, переменные в задаче 10:45 Оценка оценок 12:35 Интеграция оценок в CI/CD 13:40 Преимущества использования оценок