Faits: A. A.a. Par jugement du 4 septembre 1986, le Tribunal criminel du district de Lausanne a notamment condamné par défaut X._ - qui avait été régulièrement assigné à l'audience de jugement par citation remise en mains propres le 2 mai 1986 et qui s'était évadé de détention préventive le 21 mai 1986 - pour infraction grave à la loi fédérale sur les stupéfiants et faux dans les certificats par métier à la peine de vingt ans de réclusion, sous déduction de la détention préventive, l'a expulsé par défaut du territoire suisse pour une durée de quinze ans et a ordonné la confiscation et la dévolution à l'Etat de diverses espèces et valeurs séquestrées en cours de procédure, totalisant un montant de plusieurs millions de francs. Ce jugement a fait l'objet d'une publication dans la Feuille des avis officiels du canton de Vaud du 3 octobre 1986. A.b. A la suite de son extradition des Etats-Unis en Suisse, X._ a déposé une demande de relief du jugement précité. Le 9 septembre 2004, le Tribunal de police de l'arrondissement de Lausanne a notamment admis la demande de relief formée par X._ contre le jugement rendu le 4 septembre 1986, a mis celui-ci à néant, a constaté que l'action pénale était prescrite et a dès lors mis fin à celle-ci concernant X._. S'agissant des fonds confisqués par le Tribunal criminel en 1986, le Tribunal de police a indiqué que cette question avait été évoquée lors de l'audience de relief, mais que X._ n'avait pas formulé de revendication très claire, faisant surtout valoir que la plupart des fonds appartenaient à des tiers. Il a considéré que, dans la mesure où le Tribunal criminel avait constaté que tous les fonds séquestrés en cours d'enquête avaient été obtenus de manière illicite, c'était à bon droit que ce tribunal avait ordonné, conformément aux art. 58 ss aCP, la dévolution et la confiscation à l'Etat de ces montants. Le Tribunal de police a ajouté qu'aucun tiers ne s'était manifesté durant l'enquête pour faire valoir une quelconque revendication sur les montants finalement alloués à l'Etat. Il a en outre précisé qu'il appartiendrait à X._, dans le cadre d'une action civile, de prouver que la mesure de confiscation des fonds n'avait pas lieu d'être en démontrant, pièces à l'appui, que les fonds n'avaient pas été acquis de manière illicite. Il n'appartenait pas au juge pénal d'ordonner la restitution des fonds pour le motif que l'action pénale était prescrite. D'une part, il n'était pas certain que l'extinction de l'action pénale emporte l'impossibilité de confisquer les fonds. Au reste, lorsque les valeurs avaient été confisquées, l'action pénale n'était pas prescrite. D'autre part, le fait d'ordonner la restitution de l'argent revenait à admettre, sans autre forme de procès, que l'argent qui avait été confisqué n'était pas illicite et, par voie de conséquence, que X._ n'avait jamais commis les infractions pour lesquelles il avait été condamné. X._ a déposé un recours contre le jugement du 9 septembre 2004, recours qu'il a ensuite retiré. B. Le 27 mars 2013, le Tribunal de police de l'arrondissement de Lausanne a déclaré irrecevable la requête en complément du jugement rendu le 9 septembre 2004 par le Tribunal de police de l'arrondissement de Lausanne déposée par X._ le 17 août 2012. Dans le cadre de cette procédure, celui-ci concluait à la levée du séquestre pénal et/ou de toutes autres mesures, de fait ou de droit, opérées à son endroit, sur tous les avoirs de quelque nature que ce soit, notamment mais pas exclusivement lingots et pièces d'or, onces d'argent, comptes bancaires, dépôts titres, créances, numéraires etc., dont il était titulaire. Il a également conclu à ce que lui soient restitués les avoirs en compte et toutes autres choses mobilières séquestrés. C. Par arrêt du 19 juillet 2013, la Chambre des recours pénale a rejeté le recours formé par X._ à l'encontre du jugement du 27 mars 2013. D. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 19 juillet 2013. Il conclut, avec suite de frais et dépens, principalement à la réforme de celui-ci en ce sens que le séquestre pénal et/ou toutes autres mesures, de fait ou de droit, opérées à son endroit dans le cadre de la procédure pénale sur tous avoirs de quelque nature que ce soit, notamment mais pas exclusivement lingots et pièces d'or, onces d'argent, comptes bancaires, dépôts titres, créances, numéraires etc., dont il est titulaire sont levés et les avoirs lui sont restitués. Subsidiairement, il conclut à l'annulation de la décision entreprise et au renvoi de la cause à l'autorité précédente. 