Современные архитектурные паттерны в потоковой аналитике данных

Александр Моисеев Потоковая аналитика в реальном времени — это не попытка инженеров и архитекторов, уставших от PostgreSQL, найти себе новые увлечения, а универсальное решение для эффективной обработки данных, способное решать самые разнообразные бизнес-задачи. На примере задачи по оперативному выявлению аномальных всплесков обрывов и недозвонов в сетях сотовой связи мы разберем, как правильно построить потоковую аналитику и визуализировать критичные показатели в режиме real-time. В ходе доклада мы последовательно развенчаем шесть популярных стереотипов — от «у нас уже есть Kafka, значит, мы в потоковой аналитике» до «зачем нам Druid и Pinot, если у нас есть Trino, с которым все задачи можно решить». Мы рассмотрим ключевые архитектурные паттерны, подходы к хранению и обработке данных, а также обсудим, как выбрать оптимальный технологический стек (Kafka, Flink, Apache Pinot и др.) без лишних затрат и усложнений