Время прохождения: 6 ч. 15 мин. Курс будет полезен архитекторам, аналитика м, статистикам, специалистам по анализу данных, разработчикам SQL, администраторам. Требования: перед началом прохождения практической части активируйте бесплатную учетную запись Azure. Курс «Практическое знакомство с Azure Data Factory» посвящен задачам: 1. Создание корпоративного хранилища данных. 2. Создание ETL-процесса для преобразования «сырых» данных. В рамках первой задачи состоится знакомство с Azure Blob Storage и Azure Data Lake Storage. Будет разобрана ключевая разница между первым и вторым поколениям Azure Blob Storage / Data Lake Storage и для каких задач они лучше всего подходят. Разберемся также с тем, что такое Hot, Cool, Archive и Premium, LRS, ZRS, GRS и т.д. Научимся забирать данные из различных источников: от баз данных (на примере Microsoft SQL) до csv-файлов, лежащих на локальных серверах, и сохранять их в Azure Blob Storage и Azure Data Lake Storage. Подробно рассмотрим, как устанавливать и настраивать Integration Runtime, чтобы данные, которые забирает облако шифровались при передаче. В рамках второй задачи мы познакомимся с модулем Data Flow в Azure Data Factory. Начнем мы с простого создания ETL-процесса: как из чеков создать «плоские» продажи. После познакомимся с форматом Parquet, поговорим какие у него преимущества по сравнению с csv-файлами и посмотрим, как преобразовывать csv-файлы в Parquet. Закончим мы модуль глубоким погружением в ключевые Топ-10 функций Data Flow на примере создания OLAP-куба из табулярных таблиц. Программа курса: Модуль №0 (30 мин). О чем и зачем. Модуль №1 (30 мин). Основы работы с Azure Blob Storage и Data Lake. Лабораторная работа №1 (15 мин). Необходимо создать Data Lake Storage второго поколения, на своей подписке. Модуль №2 (30 мин). Data Factory сбор данных из Azure в Azure. Лабораторная работа №2 (20 мин). 1. Необходимо создать Azure Data Factory на своей подписке. 2. Пройти все шаги в модуле «Copy data» и скопировать данные из одного Blob Storage в свой Blob Storage. Модуль №3 (30 мин). Data Factory сбор данных из SQL и с локальных серверов. Лабораторная работа №3 (30 мин). 1. Настроить подключение к SQL Server и забрать данные на свой Azure Blob Storage. 2. Настроить на локальном компьютере Integration Runtime и забрать данные в свой Azure Blob Storage. Модуль №4 (30 мин). Data Factory обработка данные Data flow основа. Лабораторная работа №4 (30 мин). Создание Data Flow и его запуск на выполнение. Модуль №5 (40 мин). Data Factory обработка данных базовый курс Data Flow. Лабораторная работа №5 (90 мин). Создание Data Flow и его запуск на выполнение. Задачу будем решать такую же как в модуле №5. Информацию о данных будем брать из подготовленного Blob Storage, но результат будем сохранять в свой Blob Storage.
