Faits: Faits: A. S._, né en 1945, sans formation professionnelle, a travaillé en dernier lieu en qualité d'aide-magasinier. Le 12 mai 1999, il a déposé une demande de prestations de l'assurance-invalidité, sous la forme d'une rente. Il indiquait être en incapacité de travail depuis septembre 1998 en raison d'une atteinte au genou droit. Le 11 octobre 1999, l'assuré a subi une arthroplastie totale du genou droit. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) a recueilli l'avis du docteur F._, médecin traitant de l'assuré. Dans son rapport du 4 janvier 2001, ce dernier a retenu le diagnostic de gonalgie droite sur gonarthrose externe et de status post exérèse méniscale externe. Il a estimé qu'un travail adapté en position assise ne sollicitant pas le genou pouvait sans autre limitation être exigible à 100 %. Dans un rapport du 25 janvier 2001, le docteur P._, spécialiste en médecine interne, a conclu qu'en raison de diverses affections (céphalées, douleurs du genou droit opéré et troubles de l'humeur), le recourant était définitivement incapable d'assumer une quelconque activité lucrative. Plus loin dans son rapport, il a précisé que l'incapacité de travail était surtout due au problème orthopédique. L'OAI a en outre demandé l'avis du docteur B._, chef de clinique adjoint de l'Hôpital X._. Ce médecin a constaté que l'évolution de l'état de santé de l'assuré était très favorable. La capacité de travail de l'assuré dans son ancienne activité était nulle; en revanche, elle était entière dans une activité sans déplacement et sans port de charge important (cf. rapport du 28 janvier 2002). Le 12 mars 2002, le docteur B._ a précisé que l'assuré avait une capacité de travail de 100 % dans une activité adaptée depuis le 1er mars 2000 et qu'il ne devait pas porter de charges dépassant 10 kg et, occasionnellement, 15 kg. L'assuré a en outre été examiné par le docteur G._, spécialiste FMH en psychiatrie et psychothérapie. Dans son expertise du 19 juillet 2002, l'expert a conclu à l'absence de pathologie psychiatrique invalidante et à une capacité de travail entière sur le plan psychiatrique depuis septembre 1998. Se fondant sur l'ensemble de la documentation médicale se trouvant au dossier, la doctoresse M._, médecin-conseil auprès du Service médical régional de l'AI (SMR), a retenu une capacité de travail totale dans une activité adaptée à partir du 1er mars 2000 (cf. rapport du 31 juillet 2002). Le 26 novembre 2002, l'OAI a soumis un projet d'acceptation de rente à l'assuré, dans lequel il faisait part de son intention de lui allouer une rente entière d'invalidité à partir du 1er septembre 1999 jusqu'au 31 mars 2000, fondée sur un degré d'invalidité de 100 %. Au-delà de cette date, l'OAI a estimé qu'une capacité de travail de 100 % était raisonnablement exigible dans un activité adaptée. Le 21 février 2003, l'assuré a versé deux rapports médicaux au dossier, l'un émanant du docteur P._, du 27 janvier 2003, et l'autre du docteur E._, spécialiste FMH en neurologie, du 14 février 2001. Il a par ailleurs sollicité une nouvelle expertise médicale. Par décision du 12 septembre 2003, l'OAI a alloué à S._ une rente entière d'invalidité du 1er septembre 1999 au 31 mars 2000. L'assuré a formé une opposition que l'OAI a partiellement admise en allouant une rente entière d'invalidité du 1er septembre 1999 au 31 mai 2000 (décision sur opposition du 5 juillet 2004). L'assuré a formé une opposition que l'OAI a partiellement admise en allouant une rente entière d'invalidité du 1er septembre 1999 au 31 mai 2000 (décision sur opposition du 5 juillet 2004). B. Par jugement du 23 mars 2005, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré qui contestait la suppression de sa rente à partir du 1er juin 2000. B. Par jugement du 23 mars 2005, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré qui contestait la suppression de sa rente à partir du 1er juin 2000. C. S._ interjette un recours de droit administratif contre ce jugement en concluant, sous suite de dépens, principalement au maintien de sa rente entière d'invalidité après le 31 mai 2000 et, subsidiairement, au renvoi de la cause à la juridiction cantonale pour complément d'instruction et nouveau jugement. L'office intimé conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 