Mathematical Logic and Discrete Mathematics at PDMI

Четверг, 5 ноября, Zoom. Начало в 10:00.

Докладчик: С.И. Николенко (ПОМИ).

Тема: Вайб-математика и геометрия дообучения трансформеров.

Abstract

В докладе я расскажу о двух разных направлениях, которыми занимался в
последние месяцы. Сначала о том, как пытался продолжать работы Дмитрия
Рыбина (а точнее GPT 5.6 Pro) в области гипотезы Диница-Гарга-Гёманса:
результаты получились интересные, и вообще задача интересная, но,
кажется, эпоха вайб-математики в целом закончилась довольно быстро. А
потом об исследованиях в области машинного обучения: о том, как
дообучаются большие модели, и о том, есть ли у этого дообучения
понятная линейная структура. Спойлер: есть, но пока совсем не такая
понятная, как нам бы хотелось.