Развертывание Apache Airflow // Демо-занятие курса «DataOps Engineer»

Apache Airflow сейчас является самым популярным оркестратором для построения ETL процессов. Это мощный и удобный инструмент, который позволяет создавать достаточно сложные пайплайны, управлять зависимостями, подключаться к любым системам и заменять собой кучу cron'ов и ручных запусков. Но при первой же попытке развернуть его вы столкнетесь с множеством вопросов: Где развернуть сервис? В контейнере или на виртуалке? Одним узлом или несколькими? Какой планировщик выбрать? Как настроить CI/CD для DAG? Эти и другие вопросы мы обсудим на ближайшем открытом уроке по развертыванию Apache Airflow. Сдавайте вступительное тестирование, и мы запишем вам на занятие. «DataOps Engineer» -
Преподаватель: Егор Матешук - CDO AdTech - компании Квант Подключайтесь к обсуждению в чате -
Следите за новостями проекта: Telegram:
ВКонтакте:
LinkedIn:
Хабр: