A.- A._ travaillait comme machiniste au service de l'entreprise X._ SA. Dès 1996, il a connu plusieurs périodes d'incapacité de travail liées à des problèmes de santé. En 1998, il a subi une lombocruralgie bilatérale sur hernie discale L4-L5 et une cure d'éventration sus-ombilicale, ce qui l'a contraint à mettre un terme à son activité professionnelle. Le 11 novembre de la même année, il a présenté une demande de rente à l'assurance-invalidité. Après avoir recueilli les avis des divers médecins qui ont traité l'assuré et celui de son médecin-conseil, l'Office AI du canton du Valais (ci-après : l'office) a organisé un stage d'observation professionnelle aux Ateliers Y._ du 25 avril au 23 juillet 2000. Au terme de ce stage, les responsables de la réadaptation ont exprimé l'opinion que l'assuré ne serait que difficilement intégrable dans une entreprise en raison avant tout de son manque de motivation; ils ont par ailleurs dressé une liste de quatre postes de travail susceptibles de convenir aux limitations fonctionnelles qu'ils avaient observées chez lui (rapport du 10 août 2000). Invité à se prononcer sur le caractère exigible de ces emplois ainsi que sur le taux d'activité envisageable, le docteur B._, médecin traitant, a répondu que les postes retenus étaient à la portée de son patient à 100 %. A la suite d'un nouvel examen, ce médecin est toutefois revenu sur son appréciation initiale et a conclu qu'une activité adaptée à mi-temps était nettement plus appropriée à l'état de santé de l'assuré (rapport du 15 novembre 2000). Après avoir soumis cette nouvelle pièce à son médecin-conseil, l'office a, par deux décisions du 30 novembre 2000, accordé à A._ une rente d'invalidité entière du 1er décembre 1998 au 30 juin 2000 (décision no 1) et un quart de rente d'invalidité à partir du 1er juillet 2000 (décision no 2). B.- Par jugement du 21 août 2001, le Tribunal cantonal valaisan des assurances a admis le recours formé par l'assuré contre la décision no 2 de l'office, annulé cette dernière et renvoyé la cause à l'administration pour instruction complémentaire et nouvelle décision dans le sens des considérants. C.- L'office interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant à la confirmation de sa décision. A._ conclut, sous suite de frais et dépens, au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé. 