Зачем использовать em?
Не возводите всё в абсолют.
Нужно действовать по обстоятельствам. Если конкретный размер зависит от размера шрифта, то их следует задавать в em. Например, интерлиньяж напрямую зависит от размера шрифта. Или расстояние между абзацами, заголовками и т.п.
Непосредственно размер шрифта лучше указывать в rem (и одновременно в пикселях, если верстаете под IE8). Есть случаи, когда удобно задать размер шрифта именно в em, это когда одни элемент вложен в другой, и у этого вложенного элемента шрифт должен быть больше/меньше относительно родителя.
В общем нет правила "пишите всё в em" или "пишите всё в пикселях". Ориентируйтесь по обстоятельствам, включайте логику.
Кризис идентичности пикселя  Почему EM?