A.- A._ a travaillé en qualité d'ouvrier dans un atelier des CFF de 1971 à 1981. A la suite d'une distorsion du genou gauche, il a subi une méniscectomie le 5 juin 1974, puis une ostéotomie proximale de la jambe gauche, ainsi qu'une plastie rotulienne pour une chondropathie post-traumatique en 1979. Depuis 1980, il est au bénéfice d'une rente d'invalidité de l'assurance-accidents fondée sur une incapacité de gain de 33,33 %. Après avoir suivi des formations de surveillant d'établissement pénitentiaire et de garde du corps, il a travaillé en qualité de surveillant au service de X._. Il a bénéficié d'indemnités de chômage à partir du 25 juillet 1994. Dès le 31 décembre suivant, il a été engagé en qualité d'agent de sécurité au service de l'entreprise Z._. Comme cette entreprise ne pouvait pas lui confier une activité à plein temps, il a continué à bénéficier d'indemnités de chômage. Victime d'une rechute en 1996, il a subi une nouvelle ostéotomie correctrice le 22 avril 1997. Le 14 juin 1999, il a été engagé, à raison d'un horaire à plein temps, en qualité de "veilleur actif" au service du Centre de formation professionnelle spécialisée Y._. Par requête du 11 mars 1998, il a demandé à bénéficier d'une mesure de réadaptation de l'assurance-invalidité sous la forme d'une rééducation dans la même profession. Le 3 mai 2000, l'Office de l'assurance-invalidité pour le canton de Vaud a rendu une décision par laquelle il lui a dénié le droit à la mesure requise, motif pris que l'invalidité était insuffisante pour ouvrir droit à une telle prestation. B.- Saisi d'un recours contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 27 décembre 2000. C.- A._ interjette recours de droit administratif contre ce jugement en concluant à l'octroi d'une mesure de réadaptation de l'assurance-invalidité sous la forme d'un reclassement dans une nouvelle profession. L'office intimé conclut implicitement au rejet du recours. L'Office fédéral des assurances sociales n'a pas présenté de détermination. 