Faits: Faits: A. P._, né en 1951, employé de maison, a été au chômage depuis 1er juin 1996. A la suite d'un accident de la circulation survenu le 13 juin 1996, il subit une fracture-tassement L3. Il fut hospitalisé du 13 au 24 juin 1996 et dut porter un corset pendant trois mois. Son cas a été pris en charge par la Caisse Nationale Suisse d'Assurance en cas d'accidents (CNA). Depuis lors, l'assuré n'a pas repris d'activité professionnelle. Le 1er juillet 1997, il déposa une demande de prestations de l'assurance-invalidité auprès de l'Office AI pour le canton de Vaud (ci-après : OAI). Dans le cadre de l'instruction, l'OAI requit l'avis des docteurs F._ et B._, respectivement chef de clinique adjoint et médecin assistant dans le service d'orthopédie et de traumatologie de l'appareil moteur de l'hôpital X._, lesquels retinrent une incapacité totale de travail du 13 juin 1996 au 12 février 1997 et de 50 % par la suite (rapport du 8 août 1997). Par ailleurs, l'OAI confia une expertise au Département universitaire de psychiatrie adulte (DUPA). Dans un rapport du 3 mai 1999, les docteurs G._ et L._, médecin associé et médecin assistant, posèrent le diagnostic de syndrome douloureux persistant et d'état dépressif moyen d'intensité moyenne, la capacité de travail dans l'activité exercée précédemment oscillait entre 10 et 20 %. Non convaincu par ces conclusions, l'OAI a requis le docteur S._, spécialiste en psychiatrie, de procéder à une nouvelle expertise. Ce médecin posa selon le DSM IV, les diagnostics suivants: trouble douloureux associé à un facteur psychologique et à une affection médicale générale chronique, d'intensité légère à moyenne (axe I), status post-fracture-tassement de L3, hernie hiatale (axe III), accident professionnel, difficultés d'intégration (axe IV). La capacité de travail était de 50 % depuis la fin 1997 (rapport du 10 octobre 1999, confirmé par la suite). Dans un projet de décision du 5 novembre 1999, l'OAI informa l'assuré qu'il envisageait de lui octroyer une rente de 50 % dès le 1er juin 1997, soit à l'échéance du délai d'attente d'une année, compte tenu du fait qu'il avait présenté une incapacité de travail totale jusqu'au 12 février 1997 et de 50 % par la suite. Par deux décisions du 3 novembre 2000, l'OAI alloua à l'assuré une demi-rente d'invalidité du 1er juin 1997 au 31 décembre 1998 et dès le 1er janvier 1999, en regard d'un degré d'invalidité de 51 %. Par deux décisions du 3 novembre 2000, l'OAI alloua à l'assuré une demi-rente d'invalidité du 1er juin 1997 au 31 décembre 1998 et dès le 1er janvier 1999, en regard d'un degré d'invalidité de 51 %. B. Par acte du 7 décembre 2000, P._ a recouru contre ces décisions devant le Tribunal des assurances du canton de Vaud en concluant à l'allocation d'une rente entière. Dans le cadre de l'instruction, les premiers juges ont confié un mandat d'expertise au docteur Z._, spécialiste en psychiatrie et psychothérapie (rapport du 17 mars 2004). Par jugement du 9 septembre 2004, le tribunal a réformé les décisions attaquées en ce sens que l'assuré a droit à une rente entière pour la période du 1er juin 1997 au 31 mars 1998. B. Par acte du 7 décembre 2000, P._ a recouru contre ces décisions devant le Tribunal des assurances du canton de Vaud en concluant à l'allocation d'une rente entière. Dans le cadre de l'instruction, les premiers juges ont confié un mandat d'expertise au docteur Z._, spécialiste en psychiatrie et psychothérapie (rapport du 17 mars 2004). Par jugement du 9 septembre 2004, le tribunal a réformé les décisions attaquées en ce sens que l'assuré a droit à une rente entière pour la période du 1er juin 1997 au 31 mars 1998. C. P._ interjette recours de droit administratif contre ce jugement. A titre principal, il demande au Tribunal fédéral des assurances de constater que son taux d'invalidité est supérieur à 60 % dès le 1er avril 1998. Partant, il conclut à l'octroi d'une rente entière dès le 1er avril 1998 mais et au moins à trois quarts de rente dès le 1er janvier 2004. A titre subsidiaire, il demande le renvoi de la cause à l'administration afin qu'elle fixe le taux d'invalidité pour la période postérieure au 31 mars 1998. L'OAI conclut à l'annulation du jugement attaqué et au renvoi de la cause à la juridiction cantonale pour qu'elle procède à une reformatio in pejus. Selon lui, certains éléments du dossier donnent à penser que l'on devrait pouvoir raisonnablement exiger de l'assuré le reprise d'une activité adaptée. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer. L'OAI conclut à l'annulation du jugement attaqué et au renvoi de la cause à la juridiction cantonale pour qu'elle procède à une reformatio in pejus. Selon lui, certains éléments du dossier donnent à penser que l'on devrait pouvoir raisonnablement exiger de l'assuré le reprise d'une activité adaptée. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer. D. Pour les suites de son accident, l'assuré est au bénéfice d'une indemnité pour atteinte à l'intégrité de 5 % (4'860 fr.) et d'une rente d'invalidité de 10 %, allouées par la CNA. 