В данном видео показан пример простейшего ETL процесса на платформе Airflow. Для этого реализован DAG, ссылку на код можно видеть ниже. Данные подгружаются с одного источника метеоданных через API, выполняется преобразование данных в нужный формат и далее данные передаются на оператор Load для последующей загрузки в нужное хранилище. Ссылка на код:
Более подробно вы можете познакомиться с нашими курсами по Apache AirFlow здесь КУРС DATA PIPELINE НА APACHE AIRFLOW И APACHE HADOOP
КУРС DATA PIPELINE НА APACHE AIRFLOW И ARENADATA HADOOP
Еще видео по Apache Airflow: Часть 1: Начало работы с apache airflow - • Начало работы с apache airflow - "Школы Б... Часть 3: ETL на airflow c postgresql - • ETL на airflow c postgresql - Курсы "Школы... По вопросам обучения на курсах машинного обучения приглашаем в нашу «Школа Больших Данных» Обращаться по телефону: +7 (495) 41-41-121 +7 (995) 100-45-63 Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях: Телеграм-канал:
Facebook: / bigdataschoolru Вконтакте:
https://vk.com/bdschool_mck LinkedIn: / bigdataschoolru Twitter: / bigdataschoolr Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных -
