Faits : A. Par ordonnance du 1er octobre 2013, le Ministère public de l'arrondissement du Nord vaudois a condamné X._, pour abus de confiance, à une peine pécuniaire de 20 jours-amende à 40 fr. le jour, avec sursis pendant deux ans, ainsi qu'à une amende de 200 fr., convertible en 4 jours de peine privative de liberté de substitution en cas de non-paiement fautif et a mis les frais de procédure à la charge du condamné. La décision a été envoyée à X._ par pli recommandé du même jour. Celui-ci a été retourné au Ministère public le 14 octobre 2013 avec la mention " non réclamé ", l'intéressé ne l'ayant pas retiré dans le délai de garde postal. B. Par prononcé du 28 janvier 2014, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a déclaré irrecevable, car tardive, l'opposition à l'ordonnance pénale formée le 7 janvier 2014 par X._, a dit que l'ordonnance pénale du 1er octobre 2013 était exécutoire et a mis les frais de la cause à sa charge. C. Par arrêt du 19 février 2014, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a confirmé le prononcé de première instance. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que le délai d'opposition contre l'ordonnance pénale lui soit restitué. Subsidiairement, il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause auprès de l'autorité précédente pour nouvelle décision. 