Максим Гудзикевич, Кирилл Осинцев — Как навести порядок в двух эксабайтах данных?

Подробнее о конференции SmartData:
— — Скачать презентацию с сайта SmartData —
В компании с быстрорастущим объемом данных ориентироваться в них становится сложнее с каждым днем. В этой ситуации помогают каталоги данных, однако информация в них, как правило, заполняется пользователями собственноручно или берется из ERM-связей небольших БД. Спикеры во внутреннем DataCatalog научились автоматически на основе логов ETL-операций и ad hoc-расчетов собирать Data Lineage системы YTsaurus. В докладе они рассказали, как пытаются стать единой точкой истины о всех данных компании. Будет интересно поставщикам и потребителям данных, дата-инженерам и дата-аналитикам, пользователям MapReduce-систем.