Дослідження ШІ: Тема 1. Базові принципи LLM: трансформери, масштабування, instruction-tuning: Презентація

Тема 1. Базові принципи LLM: трансформери, масштабування, instruction-tuning

Transformer як базова архітектура сучасних LLM: self-attention, позиційні кодування, обчислювальні компроміси. Розвиток від pretraining до instruction-tuning. Малі мовні моделі (SLM) та сценарії їх використання.

Презентація

https://docs.google.com/presentation/d/1BAMdxajn2Ql3u7j9IirpIkpvFBTiM8X3/edit?usp=sharing&ouid=100057449056685372414&rtpof=true&sd=true

https://docs.google.com/presentation/d/1obxTB_Pa8sKpmopBs0IM07VolU685w1a1vsb2Y85Ugo/edit?usp=sharing