lipschitz

Обоснование липшицевости градиента Елена Александровна просит показать, что мы применяем градиентный спуск не просто так. В статье о градиентном спуске на machinelearning.ru приведена теорема о сходимости: если градиент подчиняется условию Липшица, то метод непременно будет сходиться к минимуму. Нужно показать для наших моделей, что для градиента функции ошибки (функции стоимости) есть константа Липшица.

Полезные материалы

• градиентный спуск для перцептрона
• Multiclass Perceptron Learning. Berkeley AI. YouTube