Faits: A. Par ordonnance du 24 juillet 2013, le Ministère public de l'arrondissement du Nord vaudois a ordonné le classement de la procédure pénale dirigée contre B._ pour contravention à la LCR. Il a estimé que les infractions que pourrait avoir commises B._ n'étaient constitutives que de contraventions et que celles-ci étaient prescrites. B. Par jugement du 15 octobre 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a déclaré le recours formé par A._ irrecevable. En substance, il en ressort les éléments suivants. Le 25 septembre 2009, B._, qui se rendait à pied chez un ami depuis la gare, a débouché d'un chemin privé sur une artère principale sur laquelle il se serait engagé immédiatement après le passage d'un véhicule arrivant à sa gauche, au mépris des règles élémentaires de prudence. Alors que l'endroit est dépourvu de passage pour piétons, il n'aurait pas accordé la priorité à l'automobile conduite par A._ arrivant à sa droite. Ce dernier, qui aurait été sous l'influence de l'alcool et qui aurait circulé à une vitesse supérieure à celle autorisée, a alors heurté B._, le projetant sur le capot puis sur le pare-brise de son véhicule où il s'est trouvé encastré jusqu'à l'arrêt du véhicule. B._ a souffert de multiples fractures, d'une lésion abdominale et de deux dents cassées. Quant à A._, il n'a souffert d'aucune blessure. Dans son recours, A._ a conclu à ce que l'ordonnance de classement rendue en faveur de B._ soit annulée et à ce que la cause soit renvoyée au Ministère public afin qu'il établisse un acte d'accusation contre B._ pour violation grave des règles de la circulation routière. C. A._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de dépens, à sa réforme en ce sens que son recours devant l'autorité cantonale est admis, la cause renvoyée au Ministère public pour qu'il établisse un acte d'accusation contre B._ et qu'une indemnité de 1200 fr., TVA en sus, lui soit allouée pour la procédure de recours cantonale. 