Faits: Faits: A. B._, ressortissant du Kosovo né en 1965, a travaillé en Suisse durant les années 1980 et au début des années 1990 dans le secteur de la restauration. Souffrant de troubles de la personnalité, il a déposé, le 24 avril 1995, une demande de prestations de l'assurance-invalidité. Par décision du 16 décembre 1996 entrée en force, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a rejeté la demande, au motif que l'invalidité alléguée était survenue à une époque où les conditions d'assurance n'étaient pas remplies. Par lettre du 5 janvier 2004, confirmée le 17 février suivant, l'office AI a refusé d'entrer en matière sur une demande de reconsidération déposée le 16 janvier 2002 par le médecin traitant de l'assuré, le docteur S._. Par lettre du 5 janvier 2004, confirmée le 17 février suivant, l'office AI a refusé d'entrer en matière sur une demande de reconsidération déposée le 16 janvier 2002 par le médecin traitant de l'assuré, le docteur S._. B. Par jugement du 20 février 2006, le Tribunal des assurances du canton de Vaud a déclaré irrecevable le recours de l'assuré formé contre ce refus. B. Par jugement du 20 février 2006, le Tribunal des assurances du canton de Vaud a déclaré irrecevable le recours de l'assuré formé contre ce refus. C. B._ a interjeté un recours de droit administratif contre ce jugement dont il a demandé l'annulation. L'office AI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. C. B._ a interjeté un recours de droit administratif contre ce jugement dont il a demandé l'annulation. L'office AI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. D. Par décision incidente du 15 mars 2007, le Tribunal fédéral a rejeté la demande d'assistance judiciaire de l'assuré et lui a imparti un délai de 14 jours pour déclarer s'il entendait retirer, sans frais, son recours. Par écriture du 23 mars 2007, B._ a déclaré maintenir son recours. 