A.- D._, né le 21 juin 1963, a travaillé en Suisse comme ouvrier marbrier depuis 1990. Souffrant de douleurs dorsales, il a cessé cette activité en mai 1995. Le 20 novembre de la même année, il a déposé une demande de prestations de l'assurance-invalidité, tendant à l'octroi d'une rente et de mesures d'ordre professionnel. Dans le cadre de l'instruction de cette demande, l'assuré a suivi un stage au Centre d'observation professionnelle de l'AI (COPAI), à G._, du 20 janvier au 7 mars 1997. Il a, par ailleurs, été soumis à une expertise psychiatrique réalisée par les docteurs P._ et C._ de l'Hôpital X._. Par décision du 29 septembre 1999, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office) a rejeté la demande de prestations au motif que le degré d'invalidité de l'assuré (28 %) était insuffisant pour ouvrir le droit à une rente. Cette décision indiquait encore : "toutefois, les collaborateurs de notre division de réadaptation se tiennent à votre disposition, s'agissant d'une démarche d'aide au placement ou du financement d'une mesure de réentraînement au travail orientée sur les professions susmentionnées". B.- Par jugement du 21 décembre 2000, le Tribunal des assurances du canton de Vaud a admis le recours formé contre cette décision par D._ et ordonné à l'office de procéder à des mesures de réadaptation professionnelle consistant, dans un premier temps, en une prise en charge psychiatrique, puis dans un reclassement professionnel. C.- L'office recourt contre ce jugement. Il conclut à son annulation et à la confirmation de sa décision du 29 septembre 1999. L'intimé conclut au rejet du recours. L'office fédéral des assurances sociales a renoncé à se déterminer. 