A.- F._ travaillait comme ouvrier agricole dans une entreprise de conditionnement de légumes. Souffrant du dos, il a connu, dès le mois de novembre 1996, plusieurs périodes d'incapacité de travail avant d'être mis en arrêt de travail complet à partir du 25 mars 1997. Sur recommandation de son médecin traitant, il a séjourné à l'établissement thermal de L._, où l'on a diagnostiqué des cervicalgies et dorso-lombalgies droites chroniques, des troubles statiques et dégénératifs du rachis, ainsi qu'un état anxio-dépressif (rapport du 26 février 1997). Le 9 juillet 1997, F._ a présenté une demande de rente à l'assurance-invalidité. Dans le cadre de l'instruction de cette demande, l'Office AI pour le canton de Vaud (ci-après : l'office) a réuni divers documents économiques et médicaux, dont notamment deux rapports d'expertise (des 20 août 1998 et 15 juillet 1999), émanant respectivement de l'Hôpital psychiatrique de P._ et du service de rhumatologie de C._. Se fondant sur ces pièces, l'office a, par décision du 30 novembre 1999, rejeté la demande de prestations. Il a considéré que l'assuré était encore en mesure, nonobstant ses troubles d'ordre somatique et psychique, de réaliser dans une activité adaptée un revenu comparable à celui qui était le sien antérieurement. B.- Saisi d'un recours contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 2 avril 2001. En bref, le tribunal s'est rallié à l'appréciation de l'office concernant le caractère non invalidant des troubles psychiques diagnostiqués chez l'assuré. Il a jugé que ceux-ci découlaient essentiellement de difficultés psychosociales et socioculturelles, soit de facteurs étrangers à l'invalidité, si bien que l'assurance-invalidité n'avait pas à répondre de l'incapacité de gain en résultant. C.- F._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant, sous suite de dépens, à l'allocation d'une rente entière. L'office conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé. 