Стоит ли верстать верстать под perfect pixel?
Не стоит. Стоит верстать очень близко к макету, но задрачиваться по поводу 1px вправо-влево точно не стоит.  Вообще, pixel perfect как концепция старше адаптивной верстки. И в случае адаптива теряет всякий смысл.
1. Фигма и браузер по-разному рендерят шрифты, соответственно текст может расходится в макете и браузере. 
2. Если делаешь блок на флексах и задаешь центрирование или кнопку, то в некоторых местах у дизайнера может быть визуально контент посередине, а по факту padding-left: 16px; padding-right: 17px и соответственно следовать пиксель в пиксель - делать некачественную верстку, которая займет больше времени.

Все зависит от макета, дизайнера и заказчика, чьи требования выполняются. Этот вопрос скорее по работе с клиентом, чем технический.