Change Data Capture из SQL на Apache Flink или как превратить обычную таблицу в стрим

10 ноября, в рамках онлайн-конференции Podlodka Backend Crew, посвященной IT нового формата, выступил Александр Сергеенко, ведущий эксперт подразделения Fast Data компании Neoflex. На сессии, посвященной event-driven системам, потоковой обработке и связанных с ними архитектурных шаблонов, эксперт поделился опытом компании Neoflex в реализации паттернов event-carried state transfer и CDC на базе технологического стека экосистемы Apache Flink. Александр отметил, что точки пересечения потоковых приложений с хранилищами в виде традиционных баз данных обычно сотканы из компромиссных решений и часто противоречивы. Особую сложность представляют сегменты, где БД выступают источником изменений, определяющих поведение потоковой части системы. В своем докладе эксперт затронул бизнес-сторону и сценарии применения, теоретические варианты реализации и практическую основу на базе Apache Flink CDC Connectors. Кроме того, провел короткую сессию живого кодинга, реализовав небольшой демо-сценарий. В сессии также приняли участие представители таких компаний как: Сбертех, Авито, Яндекс Финтех, Skyeng.