Николай Голов — Этапы построения платформы аналитических данных в облаках

Подробнее о конференции SmartData:
— — Представьте, что компании нужно выстроить аналитическую платформу, включающую сбор данных с сервисов, доставку до слоев хранения (Data Lake, детализированные данные, витрины), выполнение расчетов (batching, streaming) и интеграцию с BI-инструментами (отчетность, ML). За полтора года ManyChat решил эту задачу полностью в облаках (AWS), выбирая новейшие инструменты исходя из максимального удобства и минимизации стоимости владения. Победившая конфигурация основана на новейшей бессерверной базе Snowflake, а также ElastiCashe Redis, RDS PostgreSQL, Tableau, интегрированных посредством Python. В этом докладе Николай планирует описать процесс выбора на каждом этапе построения платформы, возможные риски и итоговый опыт использования. Итоговая платформа содержит более 100 Тб данных, регулярно получает данные из десятков сервисов и поддерживает работу сотни пользователей аналитики. Скачать презентацию: