Реферат: Доклад посвящен асимптотическому поведению стохастического градиентного спуска (СГС) в условиях одномерной мультимодальной задачи оптимизации при постоянном шаге обучения, который в конечном итоге устремляется к нулю. В работе Wang X., Oh S., Rhee C. H. Eliminating sharp minima from SGD with truncated heavy-tailed noise, International Conference on Learning Representations, 2022, было установлено, что при масштабировании времени процесса СГС на величину, которая имеет порядок времени появления первого большого скачка у последовательности шумов СГС, в пределе, в смысле сходимости конечномерных распределений, возникает марковский процесс с фазовым пространством, равным множеству минимумов целевой функции. В докладе же мы сосредоточимся на двух других режимах масштабирования времени. В первом случае масштабирование времени процесса СГС будет происходить на величину, которая асимптотически меньше времени появления первого большого скачка у последовательности шумов СГС. В этом случае мы покажем, что если стартовая точка последовательности СГС находится в области притяжения какого-либо минимума целевой функции и отделена от соседних максимумов, то существуют различные режимы масштабирования, при которых будет выполняться сходимость СГС по вероятности или почти наверное к минимуму из области притяжения стартовой точки. Во втором случае мы рассмотрим масштабирование времени на величину, асимптотически большую времени появления первого большого скачка. В этом случае будет показано, что процесс СГС сходится слабо, в смысле конечно-мерных распределений, к процессу с независимыми значениями в любые несовпадающие моменты времени и с фазовым пространством, равным множеству минимумов целевой функции.

Библиографическая ссылка: Дудукалов Д.В. , Логачев А.В. , Лотов В.И. , Прасолов Т.В. , Прокопенко Е.И. , Тарасенко А.С.
Предельное поведение стохастического градиентного спуска на разных временных масштабах в невыпуклой оптимизации
VI Конференция Математических центров России 17-22 авг. 2026