Глибинне навчання

Публікація (Scopus) + код

Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR). (https://openreview.net/forum?id=nZeVKeeFYf9)
Код (офіційний репозиторій): microsoft/LoRA (https://github.com/microsoft/LoRA)

Шаблон розв'язку https://colab.research.google.com/drive/1posZxSoLlrPi-RkdweDc_Vx8_BMW54p1?usp=sharing

Завдання для самостійної роботи:

• провести обчислювальні експерименти на новому наборі даних (https://www.kaggle.com/datasets/abhinavnayak/catsvdogs-transformed);
• підготувати модель A, яка перенавчає останні лінійні шари та декілька шарів згортки;
• підготувати модель В, яка заміняє останні лінійні шари та декілька шарів згортки та відповідні шари бібліотеки LoRA та виконує їх навчання;
• проаналізувати вплив параметрів LORA_R, LORA_ALPHA, LORA_DROPOUT та точність та час роботи моделі В;
• проаналізувати статистику роботи моделей А та В з точки зору параметрів, часу, пам'яті.