Машинное обучение в НИУ ВШЭ, 2022–2023

Это курс о машинном обучении, представленный на магистерской программе  «Науки о данных» (Data Science)  Национального исследовательского университета «Высшая школа экономики» в 2022–2023 году. Лекции по курсу совпадают с лекциями курсов « Основы байесовского вывода» и « Глубокое обучение» в СПбГУ; здесь приводятся материалы встреч со студентами в формате бесед-обсуждений прослушанных лекций.

Семестр I

1.
Беседа первая: введение, задачи байесовского вывода, основные вероятностные предположения машинного обучения.
2.
Беседа вторая: эффект «горячей руки», сопряжённые априорные распределения.
3.
Беседа третья: линейная регрессия и немного о глубоком обучении.
4.
Беседа четвёртая: байесовский вывод в линейной регрессии и batch normalization.
5.
Беседа пятая: геометрия классификации, оптимальный байесовский классификатор, немного о выборе моделей, свёрточные нейронные сети.
6.
Беседа шестая: логистическая регрессия.
7.
Беседа седьмая: статистическая теория принятия решений и ещё о свёрточных сетях.
8.
Беседа восьмая: ещё немного о линейной регрессии и статистической теории принятия решений.
9.
Беседа девятая: состязательные примеры, предсказательные распределения.
10.
Беседа десятая: кластеризация, эмпирический байес, LSTM.
11.
Беседа одиннадцатая: байесовский вывод для гауссиана, немного о порождающих моделях.
12.
Беседа двенадцатая: экспоненциальное семейство, GAN'ы. Рассказ о задаче переноса стиля.
13.
Беседа тринадцатая: VAE и трансформеры.
14.
Беседа четырнадцатая: ещё о трансформерах.

Семестр II

1.
Беседа пятнадцатая: EM, LambdaRank и прочее.
2.
Беседа шестнадцатая: суслики и LambdaMART.
3.
Беседа семнадцатая: немного о EM-алгоритме.
4.
Беседа восемнадцатая обо всём на свете прошла очно в НИУ ВШЭ — Москва.
5.
Беседа девятнадцатая: в основном о ранжировании.
6.
Беседа двадцатая: вариационные приближения.
7.
Беседа двадцать первая: LDA и RL.

Selected references

1.
Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, Information Science and Statistics series, 2006.
2.
Kevin Murphy. Machine Learning: A Probabilistic Perspective, MIT Press, 2012.
3.
David J. C. MacKay. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
4.
Richard S. Sutton, Andrew G. Barto.  Reinforcement Learning: An Introduction. MIT Press, Cambridge, MA, 2018.
5.
С.И. Николенко, А.А. Кадурин, Е.О. Архангельская. Глубокое обучение. Питер, 2018.