Perfilado de sección
-
Дисципліна «Новітні наукові дослідження в сфері штучного інтелекту» знайомить студентів із визначними сучасними науковими публікаціями з різних напрямів штучного інтелекту, формує навички читання статей, критичного аналізу та відтворення результатів: реалізація фрагментів методів, або тестування готових моделей з GitHub / Hugging Face.
Метою вивчення навчальної дисципліни «Новітні наукові дослідження в сфері штучного інтелекту» є формування уявлення про ключові напрями сучасного ШІ та їх еволюцію; навчити читати наукові статті та визначати основні структурні елементи (постановка задачі → метод → експерименти →обмеження); надати практику відтворення/перевірки результатів на відкритих коді та моделях.
У результаті вивчення навчальної дисципліни «Новітні наукові дослідження в сфері штучного інтелекту» студент зможе:- знаходити та аналізувати наукові статті (мета, вклад, новизна, експерименти);
- запускати/адаптувати репозиторії пов’язані з науковими публікаціями;
- обирати та обґрунтовувати методи машинного навчання в залежності від специфіки задачі;
- порівнювати підходи та робити висновки за метриками й протоколами оцінювання.
Компетентності, отримані під час вивчення дисципліни «Новітні наукові дослідження в сфері штучного інтелекту», є необхідними для виконання кваліфікаційної роботи магістра.
Лекційні та лабораторні заняття:
професор кафедри програмної інженерії Кудін Олексій Володимирович
e-mail: alexkudin@znu.edu.ua, avk256@gmail.com
Альтернативне посилання для лекцій:
https://meet.google.com/qot-jhyw-onv -
-
Transformer як базова архітектура сучасних LLM: self-attention, позиційні кодування, обчислювальні компроміси. Розвиток від pretraining до instruction-tuning. Малі мовні моделі (SLM) та сценарії їх використання.
-
Публікація (Scopus) + код
Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR). (https://openreview.net/forum?id=nZeVKeeFYf9)
Код (офіційний репозиторій): microsoft/LoRA (https://github.com/microsoft/LoRA)Шаблон розв'язку https://colab.research.google.com/drive/1posZxSoLlrPi-RkdweDc_Vx8_BMW54p1?usp=sharing
Завдання для самостійної роботи, провести обчислювальні експерименти на новому наборі даних.
https://www.kaggle.com/datasets/abhinavnayak/catsvdogs-transformed
-
-
-
Ідея дифузійних моделей: навчання відновлювати сигнал із шуму. Генерація за текстовим описом: загальна схема та ключові компоненти. Керування процесом генерації: за умовами, за структурою, за зразком. Практика: запуск готової моделі; порівняння режимів генерації та редагування.
-
Публікація (Scopus) + код
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-T., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS). (https://proceedings.neurips.cc/paper/2020/file/6b493230205f780e1bc26945df7481e5-Paper.pdf)
Код для відтворення практики RAG:
-
Dense Passage Retrieval (DPR) — facebookresearch/DPR (https://github.com/facebookresearch/DPR)
-
Реалізація RAG у Transformers — huggingface/transformers (модуль RAG) (https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py)
-
-
-
-
Агент як система, що діє поетапно: постановка підзадач, перевірка, уточнення. Пам’ять: короткочасна та довготривала; зберігання важливої інформації та підсумків. Зменшення помилок через перевірку фактів, використання зовнішніх джерел та контроль кроків. Практика: реалізація простого агента для задачі “пошук-перевіркапідсумок”.
-
Публікація (Scopus) + код
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems (NeurIPS). (https://proceedings.neurips.cc/paper/2020/file/4c5bcfec8584af0d967f1ab10179ca4b-Paper.pdf)
Код (офіційний репозиторій авторів): hojonathanho/diffusion (https://github.com/hojonathanho/diffusion)
-
-
-
Трансформери у комп’ютерному зорі: поділ зображення на фрагменти та увага. Навчання без розмітки для зображень і звуку: як отримують корисні ознаки без ручного маркування. Розпізнавання мовлення: сучасні підходи, робота з шумами, різними мовами та умовами запису. Практика: тестування готових моделей; аналіз помилок і причин зниження якості.
-
Публікація (Scopus) + код
Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. International Conference on Learning Representations (ICLR). (https://openreview.net/forum?id=WE_vluYUL-X)
Код (репозиторій авторів): ysymyth/ReAct (https://github.com/ysymyth/ReAct)
-
-
-
Фізично узгоджені нейронні мережі: включення рівнянь і законів у процес навчання. Нейромережі для прискорення розрахунків і наближення розв’язків рівнянь. Приклади проривних застосувань у природничих науках (структури білків, матеріали тощо). Практика: демонстраційна реалізація для простої задачі з рівняннями або готовий приклад із відкритого коду: Hugging Face, GitHub.
-
-
-
Базова публікація (Scopus) + репозиторій
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR 2022. (https://openaccess.thecvf.com/content/CVPR2022/html/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper)
Офіційний код: CompVis/latent-diffusion (https://github.com/CompVis/latent-diffusion)
-