Лабораторна робота 2
Інтеграція Azure Data Factory з Azure Data Lake Storage Gen2: побудова Bronze Layer
Мета лабораторної роботи
Набути практичних навичок побудови data ingestion pipeline за допомогою Azure Data Factory (ADF) та збереження джерельних даних у Azure Data Lake Storage Gen2 (ADLS Gen2) у Bronze layer.
Детальна інструкція: https://drive.google.com/file/d/1r-HlwVVugCTEY8rtVjbOs5YpzD4e8HxY/view?usp=drive_link
Завдання
Побудувати pipeline для завантаження Raw data.
Після запуску pipeline JSON-файли мають з'явитися у визначеному Bronze-каталозі без неузгодженої зміни їхнього вмісту.
Storage Account має глобально унікальне ім'я. Конкретні назви адаптувати до власної Azure subscription.
Підготувати 5–10 JSON-файлів. Raw JSON перед завантаженням не очищати.
Корисні посилання:
https://learn.microsoft.com/en-us/training/paths/data-processing-with-azure-adls/
https://learn.microsoft.com/en-us/azure/data-factory/quickstart-get-started?source=recommendations