Faits: Faits: A. Par décision du 29 avril 2003, l'Office de l'assurance-invalidité pour le canton de Vaud a rejeté la demande de prestations de l'assurance-invalidité présentée le 2 septembre 1999 par S._, au motif que celui-ci présentait une invalidité de 30.48 %, taux ne donnant pas droit à une rente, et que la mise sur pied de mesures d'ordre professionnel ne se justifiait pas. Dans une lettre du 2 mai 2003, Me Poitry, avocat à Nyon, a informé l'office AI qu'il défendait les intérêts de S._, lequel faisait élection de domicile en son étude. Celui-ci lui avait remis la décision de l'office AI du 29 avril 2003. Son mandant désirant faire opposition contre cette décision, l'avocat demandait que le dossier de son client lui soit transmis, pour consultation. Par courrier du 12 mai 2003, l'office AI a transmis à Me Poitry le dossier concernant S._. Il avisait l'avocat qu'il restait dans l'attente de ses éventuelles objections à la décision du 29 avril 2003 d'ici au 6 juin 2003. Dans une communication du 28 mai 2003, l'office AI, accusant réception de l'opposition formée le 2 mai 2003 contre la décision du 29 avril 2003, a informé Me Poitry qu'il allait procéder à un nouvel examen du dossier à la lumière des éléments qu'il avançait et qu'il lui notifierait ensuite une décision sur opposition sujette à recours. Le 6 juin 2003, Me Poitry a remis à l'office AI un mémoire contenant des conclusions et une motivation. Par décision du 4 mars 2004, l'office AI a refusé d'entrer en matière sur l'opposition formée le 6 juin 2003, pour cause de tardiveté. En effet, le délai légal de trente jours pour former opposition était échu le 2 juin 2003, délai qui ne pouvait être prolongé, ce qu'un juriste était censé savoir. Par décision du 4 mars 2004, l'office AI a refusé d'entrer en matière sur l'opposition formée le 6 juin 2003, pour cause de tardiveté. En effet, le délai légal de trente jours pour former opposition était échu le 2 juin 2003, délai qui ne pouvait être prolongé, ce qu'un juriste était censé savoir. B. Invoquant l'interdiction du formalisme excessif et le principe de la bonne foi, S._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci, la cause étant renvoyée à l'office AI pour nouvelle décision. Par jugement du 18 novembre 2004, la juridiction cantonale a admis le recours, annulé la décision de non-entrée en matière du 4 mars 2004 et renvoyé le dossier à l'office AI pour qu'il procède dans le sens des considérants. Considérant que l'opposition avait été valablement déposée le 2 mai 2003 dans le délai de trente jours, comme l'avait admis l'office AI dans sa lettre du 28 mai 2003, le Tribunal des assurances a invité l'office AI à entrer en matière sur l'opposition de l'intéressé. Par jugement du 18 novembre 2004, la juridiction cantonale a admis le recours, annulé la décision de non-entrée en matière du 4 mars 2004 et renvoyé le dossier à l'office AI pour qu'il procède dans le sens des considérants. Considérant que l'opposition avait été valablement déposée le 2 mai 2003 dans le délai de trente jours, comme l'avait admis l'office AI dans sa lettre du 28 mai 2003, le Tribunal des assurances a invité l'office AI à entrer en matière sur l'opposition de l'intéressé. C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours de droit administratif contre ce jugement, en concluant à l'annulation de celui-ci, la décision du 4 mars 2004 étant confirmée. S._ conclut, sous suite de frais et dépens, au rejet du recours. L'Office fédéral des assurances sociales n'a pas déposé d'observations. 