Имеет ли смысл конвертировать все изображения на сайте в PNG?
Я считаю не нужно. Фотографии в PNG это странно. В PNG только иконки, небольшие элементы дизайна.
Форматы следует использовать по назначению. ПНГ предназначен для хранения прозрачных и полупрозрачных изображений, Джпег для хранения фотографий, а ГИФ для хранения самой примитивной графики. Алгоритмы сжатия каждого из форматов заточены конкретно под свои нужды. Если сохранить фотографию в пнг, а пиктограмму в джпеге — их размер вырастет в разы. Так что ваша оптимизация выльется в огромные тормоза ;-)