Лабораторна робота 1
Тема лабораторної роботи
Проєктування архітектури Big Data-системи для наукової задачі.
Мета роботи
Набути практичних навичок аналізу вимог наукової задачі та проєктування архітектури системи для роботи з великими даними. Навчитися обґрунтовано обирати між Data Lake та Lakehouse, визначати джерела даних, способи їх надходження, зберігання, обробки та аналітичного використання.
Розширене завдання: https://drive.google.com/file/d/1c6sS7rqOwoRbw8MTl0IFBjkqCI9z0QSD/view?usp=drive_link
Завдання
- Обрати наукову задачу, для якої необхідно збирати та аналізувати великі обсяги даних.
- Описати предметну область та сформулювати основну аналітичну проблему.
- Визначити джерела даних: бази даних, файли, API, Open Data, сенсори, журнали програмних систем або інші джерела.
- Визначити характеристики даних: обсяг, швидкість надходження, різноманітність, структурованість та вимоги до якості.
- Визначити, які дані надходять у batch-режимі, а які потенційно можуть надходити у streaming-режимі.
- Спроєктувати логічну архітектуру Big Data-системи.
- Визначити компонент зберігання даних та обґрунтувати вибір Data Lake або Lakehouse.
- Визначити компоненти ingestion, processing та analytics.
- Показати напрямки потоків даних між компонентами.
- Обґрунтувати вибір технологій Microsoft Azure / Microsoft Fabric для реалізації запропонованої архітектури.
Описати переваги, обмеження та потенційні ризики запропонованої архітектури.