Как обучать нейронную сеть по одной картинке за раз?
Обучение и происходит по одной картинке. 
То есть если размер партии = 1 картинка, то после просмотра 1 картинки полученные ошибки сразу запускают в backprop, чтобы изменить весы сети.
Если размер партии 10, то картинки просматриваются, но ошибка суммируется отдельно, и отдается в backprop только в конце. То есть твоя сеть смотрит 10 картинок не обучаясь, но потом суммарная ошибка применяется.
Главная причина, почему второй вариант применяется чаще - потому что рассчитывать backprop на сотне миллионов весов это затратная операция и при batch=10 ты сокращаешь время в 10 раз. При этом кол-во выученой инфы сокращается незначительно.
Сиамские нейросети. Там по моему как раз таки все примеры на иероглифах.