Лабораторна робота №1 (10 балів)
Лабораторна робота 1
Завдання
1. Знайти пояснення основних понять теми «Основи глибинного навчання».
2. Проінтерпретувати їх письмово у звіт (ілюструвати пояснення прикладами).
3. Розробити просту мережу на основі глибинного навчання.
4. Оптимізувати розроблену нейронну мережу
5. Підготувати тести для програм.
6. Підготувати звіт про виконання роботи.
Корисні посилання
1. Bouchard, G.Accelerating Stochastic Gradient Descent via Online Learning to Sample / Guillaume Bouchard, Theo Trouillon, Julien Perez, Adrien Gaidon // https://arxiv.org/pdf/1506.09016v1.pdf
2. Sutskever, I. On the importance of initialization and momentum in deep learning / Ilya Sutskever, James Martens, George Dahl, Geoffrey Hinton // http://proceedings.mlr.press/v28/sutskever13.pdf
3. Алгоритм імітації відпалу https://uk.wikipedia.org/wiki/Алгоритм_імітації_відпалу
4. Simulated annealing https://en.wikipedia.org/wiki/ Simulated_annealing
5. Rasdi Rere, L.M. Simulated Annealing Algorithm for Deep Learning / L.M. Rasdi Rere, Mohamad IvanFananyAniati MurniArymurthy // Procedia Computer Science Volume 72, 2015, P. 137-144 https://www.sciencedirect.com/science/article/pii/S1877050915035759
6. Метод стохастичного градієнта https://uk.wikipedia.org/wiki/ Метод_стохастичного_градієнта
7. Broyden–Fletcher–Goldfarb–Shanno (BFGS)Алгоритм Бройдена — Флетчера — Гольдфарба — Шанно https://uk.wikipedia.org/wiki/Алгоритм_Бройдена_—_Флетчера_—_Гольдфарба_—_Шанно
8. Limited-memory BFGS https://en.wikipedia.org/wiki/Limited-memory_BFGS
9.. ADADELTA: An Adaptive Learning Rate Method https://arxiv.org/abs/1212.5701
10. Adam: A Method for Stochastic Optimization https://arxiv.org/abs/1412.6980