Падает ли скорость от ORM?
Да скорость падает, если вы используете повсеместно. Потому что на каждую запись инициализируется жирный класс.
Как и любой код, ORM несет в себе логику. Выполнение этой логики кушает память и процессорное время. Невыполнение - нет  (всегда Ваш, КО).
Вопрос в другом - а напишите ли вы те задачи, для которых собираетесь использовать ORM, также оптимально, как написано в известных ORM? Может быть и ORM не нужна в таком случае и Вы можете обойтись прямым общением с драйвером СУБД (раз засомневались в целесообразности использования).
И тут правильно отмечают, современные ORM могут достаточно тонко настраиваться, так что, если у Вас крупный проект, такие библиотеки Вам здорово помогут.