Faits: A. A.a D._ a présenté le 24 août 1999 une demande de prestations de l'assurance-invalidité. Par décision du 3 avril 2001, l'Office de l'assurance-invalidité pour le canton de Vaud a refusé toute prestation, l'assuré présentant une invalidité de 11 %. Le 9 mai 2001, D._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud. A.b Le 6 décembre 2001, le docteur P._, spécialiste FMH en médecine générale à A._, a présenté une nouvelle demande pour le compte de D._. Par décision du 5 février 2002, l'Office AI a prononcé le «rejet» de la demande, en invoquant l'effet dévolutif du recours alors pendant devant le Tribunal des assurances et en réservant un réexamen du cas une fois ce recours tranché. B. Dans un mémoire du 20 février 2002, D._ a recouru contre la décision du 5 février 2002 devant le Tribunal des assurances du canton de Vaud. Il se plaignait d'un déni de justice de la part de l'Office AI. Par jugement du 29 octobre 2002, la juridiction cantonale a rejeté le recours formé par D._ contre la décision du 3 avril 2001. Par jugement du 14 mai 2003, le président du Tribunal des assurances a rejeté le recours formé par celui-ci contre la décision du 5 février 2002 et renvoyé le dossier à l'Office AI pour qu'il statue sur la nouvelle demande au vu de l'ensemble des faits déterminants, en rendant telle nouvelle décision que de droit. C. D._ interjette recours de droit administratif contre le jugement présidentiel du 14 mai 2003, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci et de la décision administrative litigieuse du 5 février 2003 (recte : 2002), le dossier étant remis à l'Office AI pour instruction et décision sur la requête du 4 janvier 2002. L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours. L'Office fédéral des assurances sociales n'a pas déposé d'observations. 