Faits: A. Par ordonnance pénale du 3 mai 2011, le Procureur de l'arrondissement de Lausanne a condamné A.X._ pour violation grave des règles de la circulation et violation des devoirs en cas d'accident à 60 jours-amende, à 40 fr. le jour, avec sursis et délai d'épreuve de deux ans, ainsi qu'à 600 fr. d'amende, convertible en 15 jours de peine privative de liberté de substitution en cas de non-paiement. Par déclaration du 18 juillet 2011, A.X._ a fait opposition à cette ordonnance pénale. B. Par prononcé du 27 juillet 2011, le Président du Tribunal d'arrondissement de Lausanne a déclaré cette opposition irrecevable. C. A la suite de l'annulation de ce prononcé par décision de la Chambre des recours pénale du Tribunal cantonal vaudois du 27 juillet 2011, le Président du Tribunal d'arrondissement de Lausanne a, après avoir interpellé l'office postal concerné, à nouveau déclaré irrecevable car tardive l'opposition, par prononcé du 13 janvier 2012. D. Par décision du 13 mars 2012, la Chambre des recours pénale a rejeté le recours formé par A.X._. En bref, elle a estimé que ce dernier devait s'attendre à une notification, que celle-ci était régulière et que l'opposition était par conséquent tardive. E. A.X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à la réforme de la décision du 13 mars 2012 en ce sens que l'opposition est déclarée recevable. Subsidiairement, il sollicite l'annulation de cette décision et le renvoi à l'autorité cantonale pour nouveau jugement. Dans les deux cas, il requiert que le canton de Vaud soit condamné aux frais et dépens des procédures cantonales et fédérale. Il n'a pas été ordonné d'échange d'écriture. 