* DENSMORE, James. Data pipelines pocket reference. O'Reilly Media, 2021
* Intorf, Dylan, Dylan Storey, and Kendrick van Doorn. Apache Airflow Best Practices: A practical guide to orchestrating data workflow with Apache Airflow. 1st ed. Birmingham, UK: Packt Publishing, October 31, 2024
* Dokumentace Apache Airflow: https://airflow.apache.org/docs/
* Dokumentace Dask: https://docs.dask.org/en/stable/
Komplexní výpočetní workflow
| Typ studia | navazující magisterské |
|---|---|
| Jazyk výuky | angličtina |
| Kód | 9600-1033/01 |
| Zkratka | KVW |
| Název předmětu česky | Komplexní výpočetní workflow |
| Název předmětu anglicky | Complex Computational Workflows |
| Kreditů | 4 |
| Garantující katedra | IT4Innovations |
| Garant předmětu | Ing. Tomáš Martinovič, Ph.D. |
Subject syllabus
1. Přehled systémů pro správu workflows (např. Nextflow, Apache Airflow, HyperQueue, Dask)
2. Orientované acyklické grafy (DAG), modelování závislostí úloh a komunikace mezi nimi
3. Plánování úloh a správa zdrojů (např. SLURM)
4. Paralelismus ve spouštění workflow
5. Mechanismy tolerance chyb a obnovy
6. Profilování workflow, analýza úzkých míst a plánovací strategie
7. Vědecké případy užití včetně aplikace AI/ML v HPC
8. Zabezpečení a řízení přístupu k worfklows na HPC
9. Sdílení workflow, opakovatelnost výpočtů a jejich publikace
10. Interoperabilita a workflows platformy jako služby
2. Orientované acyklické grafy (DAG), modelování závislostí úloh a komunikace mezi nimi
3. Plánování úloh a správa zdrojů (např. SLURM)
4. Paralelismus ve spouštění workflow
5. Mechanismy tolerance chyb a obnovy
6. Profilování workflow, analýza úzkých míst a plánovací strategie
7. Vědecké případy užití včetně aplikace AI/ML v HPC
8. Zabezpečení a řízení přístupu k worfklows na HPC
9. Sdílení workflow, opakovatelnost výpočtů a jejich publikace
10. Interoperabilita a workflows platformy jako služby
Literature
Advised literature
* Dokumentace HyperQueue: https://it4innovations.github.io/hyperqueue/stable/
* Dokumentace LEXIS Platform: https://docs.lexis.tech
* TERZO, Olivier; MARTINOVIČ, Jan (ed.). HPC, Big Data, and AI Convergence Towards Exascale: Challenge and Vision. CRC Press, 2022
* Dokumentace LEXIS Platform: https://docs.lexis.tech
* TERZO, Olivier; MARTINOVIČ, Jan (ed.). HPC, Big Data, and AI Convergence Towards Exascale: Challenge and Vision. CRC Press, 2022