1. Jurafsky, Dan, and James H. Martin. Speech and Language Processing. 3rd ed. draft, Stanford University, 2025, web.stanford.edu/~jurafsky/slp3/. Accessed 30 Aug. 2025.
2. Tunstall, Lewis, et al. Natural Language Processing with Transformers. O'Reilly Media, 2022.
3. Manning, Christopher D., and Hinrich Schütze. Foundations of Statistical Natural Language Processing. MIT Press, 1999.
4. Goodfellow, Ian, et al. Deep Learning. MIT Press, 2016.
Zpracování přirozeného jazyka
| Jazyk výuky | angličtina, čeština |
|---|---|
| Kód | 460-4168 |
| Zkratka | ZPJ |
| Název předmětu česky | Zpracování přirozeného jazyka |
| Název předmětu anglicky | Natural Language Processing |
| Garantující katedra | Katedra informatiky |
| Garant předmětu | doc. Mgr. Jiří Dvorský, Ph.D. |
Anotace
Zpracování přirozeného jazyka, angl. Natural Language Processing (NLP) prošlo revolucí díky vývoji velkých jazykových modelů. Tento kurz poskytuje ucelený úvod do oblasti zpracování přirozeného jazyka (NLP), což je podobor umělé inteligence zaměřený na interakci mezi počítači a lidským jazykem. Studenti se seznámí se základními pojmy, algoritmy a technikami používanými k analýze, porozumění a vytváření lidského jazyka. Kurz začíná přehledem lingvistických základů a hlavních úloh NLP, jako je tokenizace, označování částí řeči a syntaktický rozbor. Poté se budeme věnovat pokročilejším tématům, včetně reprezentace textu (např. vkládání slov), analýzy sentimentu, strojového překladu a sumarizace textu. Významná část kurzu bude věnována moderním přístupům hlubokého učení pro NLP, včetně rekurentních neuronových sítí (RNN), konvolučních neuronových sítí (CNN) a transformačních modelů, jako jsou BERT a GPT.
Po úspěšném absolvování tohoto kurzu bude student schopen:
1. Definovat základní pojmy z oblasti NLP a popsat jeho klíčové úlohy, jako je tokenizace, analýza sentimentu nebo strojový překlad.
2. Vysvětlit lingvistické základy nezbytné pro porozumění textovým datům a interpretovat výsledky syntaktického rozboru.
3. Porovnat a rozlišit mezi různými technikami reprezentace textu, včetně moderních metod vkládání slov.
4. Aplikovat a demonstrovat použití algoritmů hlubokého učení (RNN, CNN, transformery) k řešení konkrétních NLP problémů.
5. Analyzovat a zhodnotit výkonnost různých modelů, jako jsou BERT a GPT, a posoudit jejich vhodnost pro danou aplikaci.
6. Navrhovat a konstruovat jednoduché systémy pro zpracování přirozeného jazyka a prezentovat jejich funkčnost.
Po úspěšném absolvování tohoto kurzu bude student schopen:
1. Definovat základní pojmy z oblasti NLP a popsat jeho klíčové úlohy, jako je tokenizace, analýza sentimentu nebo strojový překlad.
2. Vysvětlit lingvistické základy nezbytné pro porozumění textovým datům a interpretovat výsledky syntaktického rozboru.
3. Porovnat a rozlišit mezi různými technikami reprezentace textu, včetně moderních metod vkládání slov.
4. Aplikovat a demonstrovat použití algoritmů hlubokého učení (RNN, CNN, transformery) k řešení konkrétních NLP problémů.
5. Analyzovat a zhodnotit výkonnost různých modelů, jako jsou BERT a GPT, a posoudit jejich vhodnost pro danou aplikaci.
6. Navrhovat a konstruovat jednoduché systémy pro zpracování přirozeného jazyka a prezentovat jejich funkčnost.
Povinná literatura
Doporučená literatura
1. Kopecký M., Pokorný J.: Dokumentografické informační systémy, Karolinum 2006, ISBN 8024611481
2. Manning, C. D.; Raghavan, P. & Schutze, H.: Introduction to Information Retrieval, Cambridge University Press, 2008. Dostupné z https://nlp.stanford.edu/IR-book/
3. Witten I. H., Moffat A., Bell T. C.: Managing Gigabytes (2nd ed.): Compressing and Indexing Documents and Images, Morgan Kaufmann Publishers Inc., 1999, ISBN 1-55860-570-3
2. Manning, C. D.; Raghavan, P. & Schutze, H.: Introduction to Information Retrieval, Cambridge University Press, 2008. Dostupné z https://nlp.stanford.edu/IR-book/
3. Witten I. H., Moffat A., Bell T. C.: Managing Gigabytes (2nd ed.): Compressing and Indexing Documents and Images, Morgan Kaufmann Publishers Inc., 1999, ISBN 1-55860-570-3