Евгений Ненахов (MTC Digital) — Организация потоковой обработки данных для Big Data

Подробнее о конференции SmartData:
— — Спикер расскажет, как в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду с помощью Scala (Java), Apache Spark Streaming и PostgreSQL. Основной задачей было сделать универсальный, мощный и надежный инструмент потоковой обработки данных. Универсальность заключается в настройке обработки данных с помощью конфигураций и DSL. Вы узнаете про создание пайплайнов обработки данных. Они будут запускаться параллельно и их можно объединять в цепочки обработки данных. Доклад будет интересен разработчикам и архитекторам потоковой обработки данных, Big Data. Новички в потоковой обработке смогут почерпнуть для себя необходимый опыт создания подобного инструмента, а опытные коллеги посмотрят на задачи под другим углом.