Faits: Faits: A. A.a A._, né en 1960, a travaillé en qualité de maçon en Suisse à partir de mars 1987. Atteint d'une hernie discale depuis le 15 juillet 1996, il a définitivement cessé toute activité professionnelle le 9 août 1996. Le 28 janvier 1997, l'intéressé a présenté une demande de prestations de l'assurance-invalidité tendant au reclassement dans une nouvelle profession. Par prononcé du 14 novembre 1997, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'OAI) a évalué le degré d'invalidité de l'assuré à 61 % et lui a communiqué qu'il avait droit à une demi-rente dès le 1er juillet 1997. Cette communication était fondée sur un rapport du 4 mars 1997 de la doctoresse B._ - spécialiste FMH en médecine interne et rhumatologie et médecin traitant de l'assuré -, laquelle a posé le diagnostic de lombosciatalgies gauches non-déficitaires, troubles statiques et dégénératifs du rachis lombaire, hernie discale paramédiane gauche L4-L5, status après cure de hernie discale L5-S1 en 1992, excès pondéral modéré et surcharge psychogène. Elle a estimé l'incapacité de travail à 100 % dans l'activité de maçon; en revanche, dans une activité plus légère, en position alternée, l'incapacité pouvait être évaluée à 50 %. A.b Le 18 février 1998, l'assuré a déposé une demande de révision, fondée sur un rapport de la doctoresse B._, du 17 février 1998, lequel faisait état, en sus du diagnostic déjà connu, d'un trouble somatoforme douloureux. Pour la doctoresse, l'incapacité de travail était totale dans toute activité, même légère, depuis le 9 janvier 1998. Par décision formelle du 24 février 1999, l'OAI a alloué à A._ une demi-rente d'invalidité avec effet au 1er juillet 1997. Cette décision n'a pas été attaquée. Dans le cadre de l'instruction de la demande de révision, l'OAI a recueilli une expertise du Département universitaire de psychiatrie adulte (DUPA), du 9 mars 1999. Il ressort de dite expertise que l'assuré souffre d'un trouble somatoforme douloureux persistant, d'un état dépressif d'épisode actuel moyen et d'une structure de personnalité de type prépsychotique. Après avoir constaté qu'aucune reprise du travail n'avait été possible depuis le 9 août 1996, les spécialistes ayant examiné l'assuré ont jugé difficile d'améliorer la capacité de travail d'un patient déjà bien installé dans ses douleurs et dénotant un état dépressif difficilement accessible à un traitement psychothérapeutique. Compte tenu par ailleurs de ressources psychiques très limitées, les médecins ont estimé qu'un reclassement professionnel paraissait voué à l'échec. A.c Par projet de décision du 1er septembre 1999, l'OAI a rejeté la demande de révision, au motif que dans une activité légère, l'assuré conservait une capacité de travail de 50 %. Après que l'assuré s'est opposé audit projet et a demandé la mise en oeuvre d'une expertise multidisciplinaire, l'OAI a confié une expertise à la Policlinique médicale universitaire, Centre médical d'observation de l'assurance-invalidité (COMAI), à Lausanne. Dans un rapport du 21 décembre 2000, les docteurs D._, P._, et U._, tous trois au service de cet établissement, ont posé le diagnostic de trouble somatoforme douloureux persistant, épisode dépressif moyen avec syndrome somatique, anxiété généralisée, trouble de la personnalité non spécifique (personnalité prépsychotique), lombo-sciatalgies pseudo-radiculaires bilatérales avec status post cure de hernie dicale L5-S1 en 1990 et discopathie L4-L5 et L5-S1 et hypertriglycéridémie traitée. Ils ont estimé que l'assuré présentait une incapacité totale de travail comme maçon ou dans d'autres professions comportant des travaux lourds. En revanche, dans une activité légère adaptée, la capacité de travail était de l'ordre de 50 %. A.d Par décision du 5 avril 2001, l'OAI a maintenu le droit à la demi-rente et rejeté la demande de révision, après avoir arrêté le taux d'invalidité à 57,39 %. A.d Par décision du 5 avril 2001, l'OAI a maintenu le droit à la demi-rente et rejeté la demande de révision, après avoir arrêté le taux d'invalidité à 57,39 %. B. Le 3 mai 2001, l'assuré a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de dépens, à l'octroi d'une rente entière d'invalidité. Pendant la procédure, plusieurs avis médicaux ont été versés au dossier. Il s'agit de deux rapports du docteur C._ (des 19 septembre 2001 et 8 mars 2002), spécialiste FMH en psychiatrie et psychothérapie, lequel a suivi l'assuré depuis le 25 mai 2001, ainsi que d'un rapport d'évaluation du professeur L._, médecin-chef de la division de neuropsychologie du Centre X._. Par lettre du 3 octobre 2002, laquelle se fonde sur un rapport du 18 septembre 2002 de l'Hôpital Y._, la doctoresse B._ a annoncé à l'OAI une baisse brutale de l'acuité visuelle de l'oeil gauche de l'assuré, attribuée à un embole de cholestérol dans une branche de l'artère rétinienne, avec ischémie rétinienne. Le 10 décembre 2002, le Tribunal cantonal des assurances a demandé à la Direction médicale du secteur psychiatrique de l'Ouest vaudois, à l'Hôpital Z._, de se déterminer sur l'état de santé de A._ ainsi que sur une éventuelle aggravation. Dans son rapport d'expertise établi le 12 juin 2003, le docteur W._ médecin auprès dudit établissement, a posé le diagnostic de: - trouble somatoforme douloureux persistant (F 45.4) - trouble dépressif majeur, récurrent, de sévérité moyenne, avec syndrome somatique incomplet, et rémission intercurrente partielle (F 33.11) - syndrome d'anxiété généralisée, peut-être secondaire au trouble de l'humeur (F 41.1) - trouble de la personnalité non spécifique avec traits passifs, dépendants, alexithymiques et paranoïdes sur une structure de personnalité prépsychotique (F 60.8) - probable intelligence limite, voire retard mental léger, d'origine indéterminée (F 70) - lombo-sciatalgies gauches non déficitaires, avec troubles statiques dégénératifs du rachis lombaire. Hernie discale paramédiane gauche L4-L5, et status après cure de hernie discale L5-S1 en 1990 (M 54) - excès pondéral modéré (E 66) - hypertriglycéridémie traitée - status après embole de cholestérol dans une branche de l'artère rétinienne gauche. L'expert conclut à une pathologie psychiatrique grave, d'évolution défavorable et peu accessible à un traitement psychiatrique. Il ajoute qu'il n'est pas raisonnable d'attendre des mesures médicales une amélioration de la capacité de travail et que des mesures professionnelles ne seraient pas envisageables à moyen terme. L'incapacité de travail est évaluée à 80 % au moins. L'aggravation de l'état de santé psychique de l'assuré est située en automne 1997, lorsque ce dernier a présenté une généralisation de ses douleurs. Selon l'expert, c'est à cette période qu'il conviendrait de situer le début d'une incapacité presque totale d'exercer une activité même légère, adaptée à l'état de santé somatique. Après s'être déterminées sur l'expertise judiciaire, les parties ont maintenu leurs conclusions. Par jugement du 10 février 2004, Le Tribunal des assurances du canton de Vaud a rejeté le recours déposé par l'assuré. Par jugement du 10 février 2004, Le Tribunal des assurances du canton de Vaud a rejeté le recours déposé par l'assuré. C. A._ interjette un recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au renvoi de la cause à l'administration afin qu'elle lui alloue une rente entière d'invalidité. Dans sa réponse, l'OAI propose le rejet du recours tandis, que l'Office fédéral des assurances sociales a renoncé à se prononcer. 