Przegląd sekcji
-
-
Ідея дифузійних моделей: навчання відновлювати сигнал із шуму. Генерація за текстовим описом: загальна схема та ключові компоненти. Керування процесом генерації: за умовами, за структурою, за зразком. Практика: запуск готової моделі; порівняння режимів генерації та редагування.
-
Публікація (Scopus) + код
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-T., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS). (https://proceedings.neurips.cc/paper/2020/file/6b493230205f780e1bc26945df7481e5-Paper.pdf)
Код для відтворення практики RAG:
-
Dense Passage Retrieval (DPR) — facebookresearch/DPR (https://github.com/facebookresearch/DPR)
-
Реалізація RAG у Transformers — huggingface/transformers (модуль RAG) (https://github.com/huggingface/transformers/blob/main/src/transformers/models/rag/modeling_rag.py)
-
-