Faits: A. A.a Le 22 juin 2011, X._ a été entendu par la police à la suite d'une altercation avec une autre automobiliste. Il a été informé à cette occasion qu'une procédure préliminaire était instruite à son encontre pour voies de fait, dommages à la propriété et injure. Il a en outre signé un formulaire l'informant des droits et obligations qui étaient les siens en sa qualité de prévenu. A.b Par ordonnance pénale du 8 septembre 2011, le Procureur de l'arrondissement de Lausanne a notamment condamné X._ pour voies de fait, dommages à la propriété et injure à une peine de 90 jours-amende à 40 francs le jour, avec sursis pendant trois ans, ainsi qu'à une amende de 400 francs, convertible en dix jours de peine privative de liberté de substitution en cas de non-paiement dans le délai imparti. Cette ordonnance pénale a été adressée le même jour à l'intéressé par pli recommandé. Celui-ci n'a pas été réclamé et il a été retourné par la Poste au Ministère public le 22 septembre 2011. A.c Le 18 novembre 2011, X._ a appris incidemment que l'ordonnance pénale précitée avait été rendue à son encontre et il s'y est opposé le 21 novembre 2011. Le Procureur a refusé d'entrer en matière sur cette opposition au motif que l'ordonnance pénale avait été valablement notifiée au regard de l'art. 85 al. 4 CPP et qu'elle était définitive depuis le 10 octobre 2011. A.d Sur recours de X._, la Chambre des recours pénale du Tribunal cantonal vaudois, par arrêt du 31 janvier 2012, a transmis le dossier au Tribunal de police de l'arrondissement de Lausanne afin qu'il statue sur la validité de l'opposition formée par X._ le 21 novembre 2011. B. Par prononcé du 21 février 2012, le Tribunal de police de l'arrondissement de Lausanne a déclaré cette opposition tardive et, partant, irrecevable. L'ordonnance pénale du 8 septembre 2011 était par conséquent exécutoire. C. Par arrêt du 8 mars 2012, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours dont X._ l'avait saisie et a confirmé le prononcé attaqué. D. X._ interjette un recours en matière pénale au Tribunal fédéral contre cette décision. Il conclut à l'admission de son recours et à la réforme du prononcé du 21 février 2012 en ce sens que son opposition à l'ordonnance pénale du 8 septembre 2011 est recevable. Il sollicite en outre l'octroi de l'effet suspensif au recours. Il n'a pas été ordonné d'échange d'écriture. 