A.- A._, né en 1965, titulaire d'un CFC de vendeur, a travaillé en qualité de chef de rayon d'une grande surface de vente au détail jusqu'au mois de septembre 1997. A ce titre, il s'acquittait non seulement de tâches liées à la vente, mais également de travaux plus lourds de magasinier. Souffrant du dos après une chutesurvenue sur son lieu de travail, il a déposé une demande de prestations AI tendant à l'octroi de mesures d'ordre professionnel et d'une rente, le 9 novembre 1998. Dans le cadre de l'instruction de cette demande, l'assuré a été examiné à la demande de l'office par le docteur P._, spécialiste FMH en médecine interne et rhumatologie. Dans un rapport du 30 mai 2000, ce médecin a conclu à une incapacité de travail supérieure à 70 % dans l'activité exercée jusqu'alors par l'assuré, mais à une capacité de travail entière dans une activité de vendeur sans tâches de manutention ou dans celle d'employé de bureau. Par décision du 7 juillet 2000, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office) a rejeté cette demande de prestations au motif que le degré d'invalidité de l'assuré, dont la capacité de travail dans une activité adaptée était entière, n'était que de 8,39 %. B.- A._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. Son recours a été rejeté par jugement du 8 décembre 2000. C.- L'assuré interjette recours de droit administratif contre ce jugement. Il conclut principalement à son annulation, une rente entière d'invalidité lui étant allouée, et subsidiairement au renvoi de la cause à l'autorité judiciaire de première instance. L'office a conclu au rejet du recours; l'Office fédéral des assurances sociales n'a pas déposé de déterminations. 