Занятие 1
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Вспоминаем линейную алгебру. Некоторые матричные разложения. Скорость сходимости.
Занятие 2
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Одномерная оптимизация. Неточная одномерная оптимизация. Градиент. Гессиан. Матрично-векторное дифференцирование.
Занятие 3
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Автоматическое дифференцирование. Вычислительный граф.
Занятие 4
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Выпуклость. Выпуклые множества. Выпуклые функции. Неравенство Йенсена. Сильно выпуклые функции. Условие Поляка - Лоясиевича. Минимумы линейных нейронных сетей.
Занятие 5
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube
Условия оптимальности. Функция Лагранжа. Задачи с ограничениями-равенствами. Задачи с ограничениями-равенствами. Теорема Каруша - Куна - Таккера.
Занятие 6
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Двойственность.
Занятие 7
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Задача линейного программирования. Симплекс метод.
Занятие 8
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Градиентный спуск. Теоремы сходимости в гладком случае (выпуклые, сильно выпуклые, PL). Верхние и нижние оценки сходимости.
Занятие 9
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Ускоренные градиентные методы. Метод Поляка, Нестерова.
Занятие 10
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Метод сопряженных градиентов.
Занятие 11
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Метод Ньютона. Квазиньютоновские методы.
Занятие 12
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Градиентные методы в условных задачах оптимизации - метод проекции градиента. Метод Франк - Вульфа. Идея метода зеркального спуска.
Занятие 13
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Субградиент. Субдифференциал. Субградиентный спуск. Теоремы сходимости в негладком случае. Особенности работы градиентного метода в практических негладких задачах.
Занятие 14
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Проксимальный градиентный метод.
Занятие 15
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Стохастический градиентный спуск.
Занятие 16
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Методы редукции дисперсии: SAG, SVRG, SAGA. Адаптивные стохастические градиентные методы.
Занятие 17
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Обучение нейронных сетей с точки зрения методов оптимизации. Обобщающая способность моделей машинного обучения. Double Descent. Grokking. Mode connectivity.
Занятие 18
📄 Презентация • 📝 Заметки • 👷♂️ Seminar • ▶️ Youtube • 💿 Скачать
Вопросы обучения больших моделей. Lars, Lamb. Learning rate schedulers. Warm-up. MultiGPU training.
Занятие 19
📄 Презентация • 📝 Заметки • 👷♂️ Seminar
Введение в двойственные методы оптимизации. Метод двойственного градиентного подъёма. Метод модифицированной функции Лагранжа. ADMM.