Схема розділу

    • Тема 1. Базові принципи LLM: трансформери, масштабування, instruction-tuning Урок

      Transformer як базова архітектура сучасних LLM: self-attention, позиційні кодування, обчислювальні компроміси. Розвиток від pretraining до instruction-tuning. Малі мовні моделі (SLM) та сценарії їх використання.

    • Тема 2. RAG, tool-use, довгий контекст і якісне оцінювання Урок

      Підключення зовнішніх джерел знань: пошук інформації, використання знайдених фрагментів у відповіді. Використання зовнішніх засобів (обчислення, пошук, робота з файлами) як частина розв’язання задачі. Робота з довгими текстами: можливості та типові помилки. Оцінювання: точність, повнота, надійність, стійкість до помилкових запитів, відтворюваність.

    • Лабораторна робота 1. Базові принципи LLM Завдання

      Публікація (Scopus) + код

      Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR). (https://openreview.net/forum?id=nZeVKeeFYf9)
      Код (офіційний репозиторій): microsoft/LoRA (https://github.com/microsoft/LoRA)