Airflow: TaskFlowApi (Как работают данные: практические кейсы) #15

Рассказываю о TaskFlow API — как упростить написание DAG’ов в Airflow. Показываю, зачем он нужен, примеры использования и на что менять xcom_push / xcom_pull, и как писать чистый код. Далее на практике: — Берём старый DAG с ручными XCom — Переписываем его на @task — Видим разницу: меньше кода, меньше ошибок (в идеале :D) Материалы по видео :
Подписывайся на мой телеграм об IT, разработке и инженирии данных: t.me/marat_notes 00:00 Приветственное слово 00:48 Зачем вообще появился TaskFlow Api и что это такое 01:39 Декоратор @task и его использование 04:51 Особенности и ограничения TaskFlow 06:37 Расширенные возможности @task 08:02 Плюсы и ограничения 10:57 Best Practices 12:59 Добавление TaskFlow на практике 24:23 Проверка работы измененного дага 27:03 Заключительное слово #DataEngineering #ApacheKafka #ApacheAirflow #ETL #TechTutorial #DataInfrastructure #HandsOnTutorial #YoutubeEducation