Андрей Маркин - "Строим собственную платформу данных: от отчётов и триггеров до сложных пайплайнов"

Андрей Маркин - Data Platform Manager в Samokat.ru "Строим собственную платформу данных: от отчётов и триггеров до сложных пайплайнов" В Самокате мы строим собственную платформу данных. Наш бизнес – это создание нового слоя городской инфраструктуры для доставки товаров. Работаем в городах-миллионниках, даём пользователям возможность получить заказ в течение 15 минут – чтобы не нужно было строить отдельных планов на приём заказа, не дожидаться звонка от курьера "за час". Заказал, получил, that's it. Всё это стало возможно только благодаря технологиям – автоматизации; быстрым решениям, в которых не участвует человек. И данным. Аналитика, триггеры, события, инциденты, сложные роботические пайплайны. Для роста нужны оперативные и качественные данные в разных интерфейсах. Мы не нашли готовых решений, которые удовлетворили бы всем нашим потребностям, поэтому решили построить собственную единую платформу данных. В докладе расскажу о том, как мы рассуждали и к чему пришли: какую функциональную структуру имеет наша платформа, какие data-сервисы мы используем, какая логика стоит за всей этой конструкцией. Дисклеймер: мы в процессе построения платформы данных прямо сейчас, на этапе пилота. Со временем какие-то нюансы реализации могут измениться на основе опыта использования платформы. Не изменятся ключевые принципы в основе архитектуры и идеологии платформы.