* DENSMORE, James. Data pipelines pocket reference. O'Reilly Media, 2021
* Intorf, Dylan, Dylan Storey, and Kendrick van Doorn. Apache Airflow Best Practices: A practical guide to orchestrating data workflow with Apache Airflow. 1st ed. Birmingham, UK: Packt Publishing, October 31, 2024
* Dokumentace Apache Airflow: https://airflow.apache.org/docs/
* Dokumentace Dask: https://docs.dask.org/en/stable/
Komplexní výpočetní workflow
| Jazyk výuky | angličtina |
|---|---|
| Kód | 9600-1033 |
| Zkratka | KVW |
| Název předmětu česky | Komplexní výpočetní workflow |
| Název předmětu anglicky | Complex Computational Workflows |
| Garantující katedra | IT4Innovations |
| Garant předmětu | Ing. Tomáš Martinovič, Ph.D. |
Anotace
Tento kurz seznamuje studenty s návrhem a aplikací komplexních výpočetních pracovních postupů s ohledem na jejich nasazení a provádění v rámci různých infrastruktur (např. vysoce výkonné výpočetní systémy, datová prostředí, systémy specifické pro AI). Kurz se také zabývá technikami paralelismu, odolnosti proti chybám a optimalizace výkonu. Kurz klade důraz na důležitost reprodukovatelnosti, původu dat a bezpečného sdílení pracovních postupů. Pro demonstraci praktické implementace a škálovatelnosti jsou představeny příklady použití z reálného světa, včetně AI/ML.
Povinná literatura
Doporučená literatura
* Dokumentace HyperQueue: https://it4innovations.github.io/hyperqueue/stable/
* Dokumentace LEXIS Platform: https://docs.lexis.tech
* TERZO, Olivier; MARTINOVIČ, Jan (ed.). HPC, Big Data, and AI Convergence Towards Exascale: Challenge and Vision. CRC Press, 2022
* Dokumentace LEXIS Platform: https://docs.lexis.tech
* TERZO, Olivier; MARTINOVIČ, Jan (ed.). HPC, Big Data, and AI Convergence Towards Exascale: Challenge and Vision. CRC Press, 2022