Section: Змістовий модуль 1. Великі та малі мовні моделі (LLM) і NLP | Новітні наукові дослідження в сфері штучного інтелекту

Section outline

- Select activity Тема 1. Базові принципи LLM: трансформери, масштабування, instruction-tuning
  
  Тема 1. Базові принципи LLM: трансформери, масштабування, instruction-tuning Lesson
  
  Transformer як базова архітектура сучасних LLM: self-attention, позиційні кодування, обчислювальні компроміси. Розвиток від pretraining до instruction-tuning. Малі мовні моделі (SLM) та сценарії їх використання.
- Select activity Тема 2. RAG, tool-use, довгий контекст і якісне оцінювання
  
  Тема 2. RAG, tool-use, довгий контекст і якісне оцінювання Lesson
  
  https://docs.google.com/presentation/d/1Th6-pGFKYPr37eqDL4ZkDXjIz6bNkVRc/edit?usp=sharing&ouid=100057449056685372414&rtpof=true&sd=true
- Select activity Лабораторна робота №0
  
  Лабораторна робота №0 Assignment
- Select activity Лабораторна робота 1. Базові принципи LLM
  
  Лабораторна робота 1. Базові принципи LLM Assignment
  
  Публікація (Scopus) + код
  
  Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR). (https://openreview.net/forum?id=nZeVKeeFYf9)
  Код (офіційний репозиторій): microsoft/LoRA (https://github.com/microsoft/LoRA)
  
  Шаблон розв'язку https://colab.research.google.com/drive/1posZxSoLlrPi-RkdweDc_Vx8_BMW54p1?usp=sharing
  
  Завдання для самостійної роботи, провести обчислювальні експерименти на новому наборі даних.
  
  https://www.kaggle.com/datasets/abhinavnayak/catsvdogs-transformed
- Select activity Fine-Tuning Large Language Models Made Easy: A Practical Guide to LoRA, QLoRA & PEFT
  
  Fine-Tuning Large Language Models Made Easy: A Practical Guide to LoRA, QLoRA & PEFT URL

Змістовий модуль 1. Великі та малі мовні моделі (LLM) і NLP

Section outline

Публікація (Scopus) + код