Інтелектуальні інформаційні системи

Завдання: знайти пояснення основних понять теми.  Проінтерпретувати їх письмово у звіт (ілюструвати пояснення прикладами). Розробити програму, яка побудована на шарах, моделі. Нейромережеві бібліотеки. Keras. TensorFlow. Theano. Тему обговорити з викладачем. Підготувати тести для програми. Підготувати звіт про виконання роботи, включивши в нього всі етапи роботи.

Корисні посилання

1.     Bouchard, G.Accelerating Stochastic Gradient Descent via Online Learning to Sample / Guillaume Bouchard, Theo Trouillon, Julien Perez, Adrien Gaidon // https://arxiv.org/pdf/1506.09016v1.pdf

2.     Sutskever, I. On the importance of initialization and momentum in deep learning / Ilya Sutskever, James Martens, George Dahl, Geoffrey Hinton // http://proceedings.mlr.press/v28/sutskever13.pdf

3.     Алгоритм імітації відпалу https://uk.wikipedia.org/wiki/Алгоритм_імітації_відпалу

4.     Simulated annealing https://en.wikipedia.org/wiki/ Simulated_annealing

5.   Rasdi Rere, L.M. Simulated Annealing Algorithm for Deep Learning / L.M. Rasdi Rere, Mohamad IvanFananyAniati MurniArymurthy // Procedia Computer Science Volume 72, 2015, P. 137-144 https://www.sciencedirect.com/science/article/pii/S1877050915035759

6.    Метод стохастичного градієнта https://uk.wikipedia.org/wiki/ Метод_стохастичного_градієнта

7.    Broyden–Fletcher–Goldfarb–Shanno (BFGS)Алгоритм Бройдена — Флетчера — Гольдфарба — Шанно https://uk.wikipedia.org/wiki/Алгоритм_Бройдена_—_Флетчера_—_Гольдфарба_—_Шанно

8.   Limited-memory BFGS https://en.wikipedia.org/wiki/Limited-memory_BFGS

9..  ADADELTA: An Adaptive Learning Rate Method https://arxiv.org/abs/1212.5701

10.   Adam: A Method for Stochastic Optimization https://arxiv.org/abs/1412.6980