A.- B._, bénéficie d'une rente entière de l'assurance-invalidité, assortie d'une rente pour enfant en faveur de sa fille I._, née le 15 juin 1974, étudiante à l'école A._. Par décision du 29 mars 1999, l'Office AI du canton de Vaud a supprimé le droit à la rente pour enfant dès le 31 mars suivant, motif pris que la fille de l'assuré achevait ses études à cette date. B.- Saisi d'un recours contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement de son président, du 4 juin 1999. C.- B._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, en concluant à l'octroi d'une rente pour enfant pour la période des mois d'avril à juin 1999. L'office intimé déclare n'avoir aucune remarque à formuler au sujet du recours. De son côté, l'Office fédéral des assurances sociales n'a pas présenté de détermination. 