A.- F._ a été opéré en avril 1987 pour une hernie discale L4-L5 droite. Souffrant d'un syndrome lombo-radiculaire droit résiduel, il a abandonné son métier de maçon et s'est reconverti comme chauffeur-livreur. Il a été licencié pour des motifs économiques en février 1993. Après avoir tenté en vain de reprendre sa première activité professionnelle en mai 1995, il a séjourné dans divers services de neurochirurgie en 1995 et suivi un traitement auprès de l'établissement thermal cantonal vaudois de Z._. F._ a déposé une demande de prestations de l'assurance-invalidité le 23 octobre 1995. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : OAI) a confié un mandat d'expertise au Centre d'observation médicale de l'AI (COMAI). Par décision du 17 août 1998 l'OAI a rejeté la demande de prestations au motif que la capacité de travail de F._ était entière dans l'activité de chauffeurlivreur, selon les conclusions du COMAI. B.- F._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. Celui-ci a ordonné une expertise psychiatrique et confié son exécution au docteur P._. Par jugement du 28 mars 2000, le Tribunal des assurances a admis le recours et reconnu à F._ le droit à une demi-rente d'invalidité du 1er mai 1996 au 30 septembre 1997, puis à une rente entière dès le 1er octobre 1997. C.- L'OAI interjette recours de droit administratif contre ce jugement et conclut à son annulation. F._ a conclu au rejet du recours avec suite de dépens. Il requiert le bénéfice de l'assistance judiciaire. L'Office fédéral des assurances sociales propose en revanche de l'admettre. 