[1] Reis, Joe, and Matt Housley. Fundamentals of data engineering. " O'Reilly Media, Inc.", 2022.
[2] Haelen, B., & Davis, D. (2023). Delta Lake: Up and Running: Modern Data Lakehouse Architectures with Delta Lake. " O'Reilly Media, Inc.".
Datové inženýrství
| Typ studia | navazující magisterské |
|---|---|
| Jazyk výuky | čeština |
| Kód | 460-4178/01 |
| Zkratka | DI |
| Název předmětu česky | Datové inženýrství |
| Název předmětu anglicky | Data Engineering |
| Kreditů | 4 |
| Garantující katedra | Katedra informatiky |
| Garant předmětu | doc. Ing. Radim Bača, Ph.D. |
Osnova předmětu
Osnova přednášek:
- Historie OLAP, Datový produkt a role a nástroje datového inženýra a jeho zařazení datově-orientované společnosti, ETL, ELT a backfilling dat. Oddělení úložsiště dat od jejich zpracování. Delta lake - Parquet, ORC. Lakehouse - Delta lake, Iceberg, Hudi
- Data warehouse modeling. Star, Snowflake. Data Vault
- Medailonová architektura a její praktické využití. Čištění, validace a kvalita dat.
- Automatizace pomocí přístupu Data Engineering as Code (dbt).
- Orchestrace. Datové katalogy a správa metadat.
- Loading strategies. Dávkové vs. streamové zpracování dat. Verzování schémat a Change Data Capture (CDC).
- Úvod do analýzy dat. Dimenzionální dotazování. Úvod do DAX.
- Základní Analýza dat v Power BI.
Cvičení:
- Seznámení s vývojovými prostředími (přihlášení do služeb). Práce s Parquet a Lakehouse soubory s pomocí DuckDB
- Převedení Sakila databáze do hvězdy (DBDiagrams, SQL Server)
- Integrace dvou Sakila databázi s pomocí Data Vault
- Čištění a integrace hodnocení filmů (Najít dataset na Kaggle) - PowerM, SQL
Překlopení práce z předchozích hodin do DBT
- Zkusit napsat orchestraci ETL s pomocí Airflow. Vstupní data se umístí na nějaký S3 bucket.
- Vložit metadata do připraveného systému (Open metadata, DuckLake). Automatizace sběru metadat. Příprava zadání pro vlastní projekt.
- Pro jeden příklad zkusit více loading strategies: CDC, full-load, batch, streaming. Seznámení s Power BI a napsání prvních DAX.
- Power BI. Konzultace projektu.
- Odevzdání projektu
- Historie OLAP, Datový produkt a role a nástroje datového inženýra a jeho zařazení datově-orientované společnosti, ETL, ELT a backfilling dat. Oddělení úložsiště dat od jejich zpracování. Delta lake - Parquet, ORC. Lakehouse - Delta lake, Iceberg, Hudi
- Data warehouse modeling. Star, Snowflake. Data Vault
- Medailonová architektura a její praktické využití. Čištění, validace a kvalita dat.
- Automatizace pomocí přístupu Data Engineering as Code (dbt).
- Orchestrace. Datové katalogy a správa metadat.
- Loading strategies. Dávkové vs. streamové zpracování dat. Verzování schémat a Change Data Capture (CDC).
- Úvod do analýzy dat. Dimenzionální dotazování. Úvod do DAX.
- Základní Analýza dat v Power BI.
Cvičení:
- Seznámení s vývojovými prostředími (přihlášení do služeb). Práce s Parquet a Lakehouse soubory s pomocí DuckDB
- Převedení Sakila databáze do hvězdy (DBDiagrams, SQL Server)
- Integrace dvou Sakila databázi s pomocí Data Vault
- Čištění a integrace hodnocení filmů (Najít dataset na Kaggle) - PowerM, SQL
Překlopení práce z předchozích hodin do DBT
- Zkusit napsat orchestraci ETL s pomocí Airflow. Vstupní data se umístí na nějaký S3 bucket.
- Vložit metadata do připraveného systému (Open metadata, DuckLake). Automatizace sběru metadat. Příprava zadání pro vlastní projekt.
- Pro jeden příklad zkusit více loading strategies: CDC, full-load, batch, streaming. Seznámení s Power BI a napsání prvních DAX.
- Power BI. Konzultace projektu.
- Odevzdání projektu
Povinná literatura
Doporučená literatura
[1] Zagni, Roberto. "Data Engineering with dbt." Birmingham: Packt Publishing Ltd (2023).