Faits: Faits: A. S._, né en 1969, est titulaire d'un CFC d'employé de bureau. Il a exercé l'activité de gérant d'un magasin de disque jusqu'au 19 novembre 1996, date à laquelle il a été déclaré incapable de travailler par son médecin traitant, le docteur A._, en raison de gonalgies. Le 23 janvier 1998, S._ a présenté une demande de prestations de l'assurance-invalidité tendant à une rééducation dans la même profession ou à l'octroi d'une rente. Interpellé par l'Office AI pour le canton de Vaud (ci-après: l'office AI), le docteur A._ a fait état d'un syndrome rotulien sur hyperpression externe de la rotule avec chondropathie et tendinopathie rotulienne gauche, ainsi que d'un syndrome dépressif réactionnel (rapports des 24 février 1998 et 3 mai 1999). De son côté, le docteur E._, spécialiste FMH en médecine interne et en maladies rhumatismales, que l'assuré avait consulté une fois en juin 1997 sur recommandation de son médecin traitant, a indiqué, dans un rapport du 1er mars 2000 établi à l'intention de l'AI, que d'après ses constatations d'alors, l'activité d'employé de bureau était parfaitement adaptée aux troubles du genou de l'intéressé. Se fondant sur ces documents, l'office AI a rendu un projet de décision par lequel il refusait tout droit aux prestations. L'assuré ayant contesté ce projet de décision, l'office AI a confié une expertise au docteur E._, qui a, dans les grandes lignes, confirmé sa précédente évaluation tout en recommandant un examen psychiatrique (rapport du 5 juillet 2001). S._ a été examiné au Service médical régional AI (SMR) par le docteur V._, psychiatre, qui a diagnostiqué un trouble de l'adaptation à prédominance anxieuse chez une personnalité émotionnellement labile, et estimé que les manifestations anxieuses ne jouaient pas de rôle déterminant quant à sa capacité de travail (rapport d'examen psychiatrique du 21 décembre 2001). Se fondant sur ces pièces médicales, l'office AI a rejeté la demande de prestations, considérant que S._ jouissait d'une capacité de travail entière dans sa profession, parfaitement adaptée à ses problèmes de santé (décision du 9 avril 2002). Se fondant sur ces pièces médicales, l'office AI a rejeté la demande de prestations, considérant que S._ jouissait d'une capacité de travail entière dans sa profession, parfaitement adaptée à ses problèmes de santé (décision du 9 avril 2002). B. L'assuré a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud, en requérant la mise en oeuvre d'une expertise médicale. Après avoir soumis un questionnaire médical aux docteurs A._, W._ (psychiatre) et J._ (spécialiste FMH en médecine interne), tous trois médecins traitants de S._, le tribunal a rejeté le recours ( jugement du 17 juin 2003). Après avoir soumis un questionnaire médical aux docteurs A._, W._ (psychiatre) et J._ (spécialiste FMH en médecine interne), tous trois médecins traitants de S._, le tribunal a rejeté le recours ( jugement du 17 juin 2003). C. S._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation. Il conclut au renvoi de la cause à l'office AI pour instruction sous la forme d'une expertise médicale pluridisciplinaire. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 