Как работает эта деталь в градиентном спуске?
1 - нарисуйте картинку для одномерного случая. Градиент превратится в обычную производную. Производная - это угол наклона касательной к нашей cost функции. Получается на этом шаге мы смотрим возрастает функция или нет (производная больше или меньше) и в зависимости от этого смещаемся в сторону, где функция меньше на размер шага(отсюда и название - градиентный спуск, мы спускаемся к минимуму функции используя градиент как направление). Для многомерного случая все так же, мы по сути делаем это для каждой переменной.
2 - чтобы не попасть на локальный минимум
2 - в части исходных данных может быть какая-то дополнительная структура, которая и правда приведет нас к локальному минимуму. Например, если какие-то N примеров подряд имеют примерно одинаковые входные или выходные данные, то тогда модель обучится, что данные только такого характера и есть в принципе, и ей сложнее будет "расстаться" с этим знанием при обучении на следующих примерах.