Змістовий модуль 4. Вступ до LLM
Section outline
-
-
Публікація (Scopus) + код
Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR). (https://openreview.net/forum?id=nZeVKeeFYf9)
Код (офіційний репозиторій): microsoft/LoRA (https://github.com/microsoft/LoRA)Шаблон розв'язку https://colab.research.google.com/drive/1posZxSoLlrPi-RkdweDc_Vx8_BMW54p1?usp=sharing
Завдання для самостійної роботи:
- провести обчислювальні експерименти на новому наборі даних (https://www.kaggle.com/datasets/abhinavnayak/catsvdogs-transformed);
- підготувати модель A, яка перенавчає останні лінійні шари та декілька шарів згортки;
- підготувати модель В, яка заміняє останні лінійні шари та декілька шарів згортки та відповідні шари бібліотеки LoRA та виконує їх навчання;
- проаналізувати вплив параметрів LORA_R, LORA_ALPHA, LORA_DROPOUT та точність та час роботи моделі В;
- проаналізувати статистику роботи моделей А та В з точки зору параметрів, часу, пам'яті.