Faits: Faits: A. B._, est au bénéfice d'une formation de mécanicien de précision acquise en Yougoslavie. De mars 1989 à février 1995, il a travaillé en qualité de chauffeur-livreur. Par la suite, il s'est inscrit à l'assurance-chômage. Du 3 janvier 1997 au 30 avril 1998, il a exercé à temps partiel l'emploi de portier. Le 18 février 1998, B._ a présenté une demande de prestations de l'assurance-invalidité. Dans un rapport médical du 13 mai 1998, le docteur G._, généraliste et médecin traitant de l'assuré, a posé le diagnostic de status après deux cures de hernie discale L5-S1 droite et de lombosciatalgies résiduelles. Du 2 au 19 juin 1998, le patient a bénéficié d'un reconditionnement physique intensif dans le cadre de la Clinique X._. Dans la lettre de sortie, les docteurs F._ et P._, respectivement médecin associé et médecin assistant, ont retenu des lombosciatalgies droites, non irritatives et non déficitaires, et un status post-hémilaminectomie droite avec reprise chirurgicale secondaire pour hernie discale. Ils préconisaient dans un premier temps une reprise du travail à 50 % dès le 22 juin 1998. En cas d'incapacité de travail persistante, ils proposaient qu'une expertise médicale soit mise en oeuvre, avec un avis psychiatrique. Selon un rapport intermédiaire du docteur G._, du 2 février 1999, la capacité de travail du patient était difficilement évaluable. Il était d'avis qu'une évaluation psychiatrique était nécessaire. Sur requête de l'Office de l'assurance-invalidité pour le canton de Vaud, les médecins de l'Hôpital B._ ont procédé à une expertise psychiatrique. Dans un rapport du 5 janvier 2000, les docteurs W._ et D._, respectivement médecin adjoint et médecin assistante, ont posé le diagnostic psychiatrique de troubles dépressifs persistants (ICD 10 : F 34.8) chez une personnalité de structure psychotique à traits paranoïaques (F600-F608), syndrome douloureux somatoforme persistant (F 45.4), status après deux cures de hernie discale L5-S1 droite, difficultés d'adaptation (Z600) et autres difficultés liées à l'environnement social (Z608). Ils concluaient à une incapacité de travail de 100 % pour raison psychiatrique. Le médecin de l'office AI a confié une contre-expertise psychiatrique au docteur A._, spécialiste FMH en psychiatrie et psychothérapie et médecin-chef du service de psychosomatique de la Clinique J._. Dans un rapport du 30 juin 2000, ce médecin a posé les diagnostics psychiatriques de trouble dépressif majeur (degré léger) (F 32.0), syndrome douloureux somatoforme persistant probable (F 45.4) et trouble de la personnalité non spécifié (F 60.9). Procédant à une évaluation globale qui tenait compte à la fois des problèmes somatiques et psychiatriques, le docteur A._ a retenu une capacité de travail exigible d'au moins 70 % dans une activité légère. Dans un rapport intermédiaire du 14 août 2000, le docteur G._ a indiqué que l'activité de garçon de vestiaire que le patient avait exercée pouvait être considérée comme légère, sans port de charges lourdes et comportant des variations de position, mais qu'elle avait été interrompue dès mars 1999 en raison de douleurs décrites comme intolérables. Il ne voyait guère quelle activité adaptée pourrait être proposée à l'assuré et concluait à une incapacité totale de travail. Dans un projet de décision du 8 février 2001, l'office AI a avisé B._ que sa capacité de travail dans une activité adaptée était d'au moins 70 %, dans la mesure où il était à même d'exercer un emploi à plein temps dans le secteur industriel (montage, travaux de conditionnement, opérateur en galvanisation). Celui-ci n'avait pas droit à une rente d'invalidité ni à des mesures de reclassement, faute de présenter une incapacité de travail et de gain de 40 % au moins. Par décision du 10 mai 2001, l'office AI a rejeté la demande. Par décision du 10 mai 2001, l'office AI a rejeté la demande. B. B.a B._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de dépens, à la réforme de celle-ci en ce sens que lui était reconnue une incapacité totale de travail et qu'il était mis au bénéfice d'une rente entière d'invalidité. Dans sa réponse, l'office AI a produit une nouvelle décision du 30 août 2001, qui annulait et remplaçait celle du 10 mai 2001, dans laquelle il a fixé l'invalidité de l'assuré à 0 %, voire à 28 % dans l'hypothèse d'une capacité de travail de 70 %. B.b Dans un mémoire du 20 septembre 2001, B._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en reprenant ses conclusions précédentes. La juridiction cantonale a confié une expertise psychiatrique au docteur K._, spécialiste FMH en psychiatrie et psychothérapie à U._. Dans un rapport du 21 mai 2003, l'expert judiciaire a posé les diagnostics d'épisode dépressif léger, de facteurs psychiques aggravant une affection douloureuse chronique (F 68.0), de dorsalgies chroniques avec micro-instabilité L5-S1 atteignant le stade Modic II et une discopathie C5-6 avec protrusion disco-ostéophytique postérieure médio-latérale gauche, potentiellement conflictuelle avec la racine C6 gauche, et de modification de la personnalité (F 62.8) par un processus d'invalidation avancé chez une personnalité ayant des traits pathologiques antérieurs (F 60.9). Tout en admettant que l'assuré pouvait exercer l'emploi de chauffeur-livreur pendant environ deux heures par jour avec un rendement légèrement diminué, il ne croyait pas qu'il existe une activité adaptée aux troubles que celui-ci présente. Il indiquait qu'entre juin 2000 et l'époque de l'expertise, les modifications de la personnalité s'étaient accentuées, justifiant à son sens une incapacité de travail médicalement justifiée de 40 % entre juin 2000 et juin 2001, de 50 % de juin 2001 à juin 2002, de 60 % de juin 2002 à mai 2003 et de 70 % dès le 1er juin 2003. Dans leurs observations, les parties ont pu se déterminer sur l'expertise effectuée par le docteur K._. Par jugement du 17 mai 2004, la juridiction cantonale, considérant que le recours contre la décision du 10 mai 2001 était devenu sans objet, a admis le recours contre la décision du 30 août 2001 et réformé celle-ci en ce sens que B._ a droit à un quart de rente d'invalidité dès le 1er juin 2001, à une demi-rente d'invalidité dès le 1er septembre 2001 et à une rente entière d'invalidité dès le 1er septembre 2003. Par jugement du 17 mai 2004, la juridiction cantonale, considérant que le recours contre la décision du 10 mai 2001 était devenu sans objet, a admis le recours contre la décision du 30 août 2001 et réformé celle-ci en ce sens que B._ a droit à un quart de rente d'invalidité dès le 1er juin 2001, à une demi-rente d'invalidité dès le 1er septembre 2001 et à une rente entière d'invalidité dès le 1er septembre 2003. C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours de droit administratif contre ce jugement, en concluant à l'annulation de celui-ci. B._ conclut, sous suite de dépens, au rejet du recours. Il a présenté une demande d'assistance judiciaire gratuite. L'Office fédéral des assurances sociales n'a pas déposé d'observations. 