А/Б-тестирование в режиме реального времени - сегодня на #GoViralCA2021 - мастер-класс с Валерием Бабушкиным. ⠀ 💡Что такое - А/Б-тесты? ⠀ Представьте, что у нас есть что-то новое. Алгоритм продаж, взаимодействие сотрудников. Как узнать, решает ли это наши задачи? ⠀ Если есть метрика, нужно уметь ее измерять. ⠀ ❌ Как делать нельзя? ⠀ Смотрим, что было до внедрения чего-то. Что было после. Сравниваем. Вычитаем. Так делать плохо. ⠀ Почему? Возможно влияние каких-то совершенно внешних факторов. ⠀ ✅ Как делать можно? ⠀ Делим данные на две группы. Максимально одинаковые. В одной группе вводим изменения - затем сравниваем. ⠀ 👉 Помним про ошибки первого и второго рода. Когда мы делаем А/Б-тест, мы смотрим, есть ли эффект. Ошибка первого рода - признание, что эффект есть. Второго - что эффекта нет. ⠀ 👉 Чем больше размер выборки, тем больше вероятность не допустить ошибок при прочих равных. ⠀ 👉 Размер эффекта. Чем меньше эффекта мы хотим «поймать», тем сложнее это сделать. ⠀ Программируем. Отвечаем на вопросы. Размышляем.
