Насколько быстр PDO?
Вот тут неплохая статья для новичков, читайте коменты, там много отзывов и юзкейсов народ привел, основная мысль -  пдо изначально объектноориентирован и имеет препаред стэтментс. Это а) удобно б) безопасно. Все остальные пиписькомерялки в проектах типа "мой второй улучшенный блог на пхп" смысла не имеют. Ибо выигрыш в скорости разработки/безопасности на сегодняшний день важнее микропреимуществ от смены драйвера к бд.
Само собой он медленнее, это исходит из самого принципа его работы. Но кто мешает Вам внедрять кеширование?