Faits: Faits: A. A.a B._, né en 1968, travaillait comme machiniste au service de l'entreprise H._ (active dans le domaine de la construction), à X._. Le 15 septembre 1998, alors qu'il était occupé à des travaux de rangement au dépôt de l'entreprise, le prénommé a eu la main gauche écrasée par un anneau en ciment, ce qui lui a occasionné des fractures fermées des phalanges basales de l'index, du majeur, de l'annulaire et de l'auriculaire. Les suites de cet accident ont été prises en charge par la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 14 juin 1999, B._ a présenté une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente, éventuellement d'un reclassement dans une nouvelle profession. Procédant à l'instruction de la demande, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a requis l'avis du docteur U._, lequel avait opéré l'assuré (rapport du 2 juillet 1999), et a fait produire le dossier de la CNA. Il a également confié au Centre d'Intégration Professionnelle (CIP) de Z._ la mise en oeuvre d'une mesure d'observation professionnelle qui s'est déroulée du 8 janvier au 27 avril 2001. Dans son rapport du 15 mai 2001, le CIP a conclu à l'impossibilité de réinsérer l'assuré dans le circuit économique normal, la capacité résiduelle, évaluée à 40 %, ne pouvant être appréciée que dans un « emploi protégé ». Par décision du 15 février 2002, l'office AI a rejeté la demande de prestations, motif pris que le degré d'invalidité de l'assuré, de 26 %, était insuffisant pour ouvrir droit à une rente. Il a considéré que l'assuré disposait d'une capacité de travail et de gain entière dans une activité adaptée à son état de santé. Des mesures professionnelles n'étaient en outre pas indiquées, car elles ne permettraient pas d'améliorer la capacité de gain. L'assuré pouvait par contre solliciter une aide au placement. A.b De son côté, la CNA a octroyé, par décision du 12 décembre 2001, une rente d'invalidité fondée sur une incapacité de gain de 29 % à partir du 1er décembre 2001. Saisie d'une opposition, elle a confié à la doctoresse O._, spécialiste en chirurgie plastique et reconstructive, chirurgie de la main, le soin de procéder à une expertise médicale sur la personne de l'assuré. Selon ce médecin, l'assuré pouvait exercer, sans limitation et à plein temps, une activité strictement monomanuelle droite (rapport du 9 décembre 2002). A la suite d'une transaction avec l'assuré, la CNA lui a octroyé, par décision du 19 août 2003, une rente d'invalidité fondée sur un degré d'invalidité de 44 %. A.b De son côté, la CNA a octroyé, par décision du 12 décembre 2001, une rente d'invalidité fondée sur une incapacité de gain de 29 % à partir du 1er décembre 2001. Saisie d'une opposition, elle a confié à la doctoresse O._, spécialiste en chirurgie plastique et reconstructive, chirurgie de la main, le soin de procéder à une expertise médicale sur la personne de l'assuré. Selon ce médecin, l'assuré pouvait exercer, sans limitation et à plein temps, une activité strictement monomanuelle droite (rapport du 9 décembre 2002). A la suite d'une transaction avec l'assuré, la CNA lui a octroyé, par décision du 19 août 2003, une rente d'invalidité fondée sur un degré d'invalidité de 44 %. B. B._ a déféré la décision de l'office AI au Tribunal des assurances du canton de Vaud, qui, par jugement du 18 mai 2004, notifié à l'assuré le 8 novembre 2004, a admis le recours et reconnu à l'assuré le droit à un quart de rente de l'assurance invalidité à partir du 1er septembre 1999. B. B._ a déféré la décision de l'office AI au Tribunal des assurances du canton de Vaud, qui, par jugement du 18 mai 2004, notifié à l'assuré le 8 novembre 2004, a admis le recours et reconnu à l'assuré le droit à un quart de rente de l'assurance invalidité à partir du 1er septembre 1999. C. L'office AI interjette recours de droit administratif contre ce jugement, dont il demande l'annulation. B._ conclut, sous suite de dépens, à l'annulation du jugement entrepris et à l'octroi d'un trois-quarts de rente d'invalidité. L'Office fédéral des assurances sociales a renoncé à se déterminer. 