A.- G._ a travaillé comme chauffeur-livreur dès 1987. En juin 1993, souffrant de douleurs dorsales, il a demandé à bénéficier de prestations de l'assurance-invalidité. Les docteurs F._ et X._ ont notamment diagnostiqué des lombalgies chroniques sur troubles statiques et dégénératifs modérés du rachis dorso-lombaire et un état anxieux chronique. L'assuré a alors suivi un stage d'observation professionnelle, qu'il a interrompu prématurément en raison de ses douleurs dorsales. Pour sa part, le docteur P._, son médecin traitant, était d'avis qu'aucune mesure professionnelle ne pourrait aboutir, en raison d'une surcharge psychologique indéniable, l'état dépressif de son patient étant au premier plan et entraînant une augmentation de ses lombalgies. Le 22 mars 1996, l'Office de l'assurance-invalidité pour le canton de Vaud, retenant un taux d'invalidité de 42 %, a alloué à G._ une rente ordinaire pour couple. Par décision du 6 novembre 1997, cette rente a été adaptée, à la suite de l'entrée en vigueur de la 10ème révision de l'AVS et en raison du divorce de l'assuré, de sorte que G._ est au bénéfice d'une demi-rente pour cas pénible depuis le 1er avril 1997. Entre-temps, le 5 septembre 1996, l'assuré avait déposé une nouvelle demande de prestations de l'assurance-invalidité. Selon le docteur P._, l'incapacité de travail était de 70 %. Par rapport à la situation qui prévalait en 1995, des céphalées persistantes sur cervicalgies étaient apparues et l'état général de son patient était aggravé par une situation financière et familiale difficile. Chargé d'une expertise par l'office de l'assurance-invalidité, le docteur Y._, spécialiste en maladies rhumatismales, a constaté que l'importance des plaintes était sans relation avec les observations cliniques et radiologiques, et a conclu à une reprise du travail dans une activité ne nécessitant pas le port de lourdes charges. Son diagnostic fait notamment état d'une majoration des symptômes physiques pour des raisons psychologiques, avec probable névrose de compensation. Par décision du 1er avril 1998, l'office de l'assurance-invalidité a refusé de réviser la rente allouée à G._. B.- L'assuré a recouru contre cette décision et requis la mise en oeuvre d'une expertise judiciaire. Il a été mis au bénéfice de l'assistance judiciaire pour la procédure cantonale. Par jugement incident du 29 décembre 1998, le Tribunal des assurances du canton de Vaud a rejeté la requête d'expertise judiciaire. Le 24 septembre 1999, il a rejeté le recours contre la décision de l'office de l'assurance-invalidité. C.- G._ interjette recours de droit administratif, concluant, avec suite de dépens, à l'annulation du jugement cantonal et au renvoi de la cause au Tribunal des assurances du canton de Vaud pour la mise en oeuvre d'une nouvelle expertise. Il demande a être mis au bénéfice de l'assistance judiciaire. 