Мета: ознайомитись з Data warehouses and Data Lake на платформі Azure.

Хід роботи

Основне завдання:

1. Ознайомитись з основними концептами дата інжинірингу - https://learn.microsoft.com/en-us/training/paths/get-started-data-engineering/
2. Створити data warehouse: https://learn.microsoft.com/en-us/training/modules/design-multidimensional-schema-to-optimize-analytical-workloads/
3. Ознайомитись з Azure Data Lake Storage Gen2 module (with files upload): https://learn.microsoft.com/en-us/training/paths/data-processing-with-azure-adls/
4. Load data to relational warehouse: https://learn.microsoft.com/en-us/training/modules/load-optimize-data-into-relational-data-warehouse/
5. Manage warehouse in Synapse data analytics:  https://learn.microsoft.com/en-us/training/modules/manage-monitor-data-warehouse-activities-azure-synapse-analytics/
   1. УВАГА! Student subscription дозволяє створити ТІЛЬКИ 1 ВОРКСПЕЙС у Azure Synapse - вам потрібно врахувати цю інформацію, якщо ви виконуєте курсові роботи (потім ви НЕ ЗМОЖЕТЕ створити workspace другий раз).
6. Підготувати дані для завантаження в Azure Data Lake відповідно до індивідуального варіанта (CSV). Виконати пункти 1,2,3 - відповідно до індивідуального варіанту

Важливо: після виконання завдання переконайтесь що ви видалили усі створені вами ресурси!

Увага!!!

Ви маєте створити детальний звіт з лабораторної роботи, де ви маєте продемонстувати що ви ВИКОНАЛИ завдання дані у вищезгаданих модулях, і що їх виконали САМЕ ВИ. Також ви маєте продемонстурвати проходження самого модуля (скріншоти пройденого модуля потрібно робити відкривши в правому верхньому куті меню вашого акаунта, для надання ідентифікаційної інформації).

Так як для даного виду лабораторних робіт звіту достатньо (лабораторні такого типу захищати не потрібно) звіту буде приділятись особлива увага.

Звіти мають бути у форматі pdf, звіти мають конкретно показувати (з ідентифікаційною інформацією) ваше виконання роботи. Ви маєте додавати унікальні (на основі акаунтів) значення полів (паролів, хостів, назв машин, назв акаунтів azure і т.д.) під час виконання завдання з модуля (exercise) у вашій консолі azure. 

Для повного зарахування лабораторних робіт ви повинні робити скріншот всього екрану, в іншому випадку будуть зніматись бали.

Для спрощення виконання звіту з лабораторної роботи, можна використовувати MS Windows Steps Recorder, вбудований в вашу ОС додаток для покрокових скріншотів. Звіти відправляти відповідно до вимог вашого викладача, звіт не потребує спеціального оформлення рамкою(за бажанням) та повинен бути в форматі PDF відправлений з вашої університетської пошти як додаток до листа. 

приклади скріншотів прикріплено