A.- S._, né le 21 juillet 1935, a bénéficié d'une retraite anticipée de la prévoyance professionnelle à partir du 1er août 1997 (pension de retraite et rente-pont AVS). Par lettre du 20 mars 1997, la Caisse de pensions du canton du Jura l'a informé que la rente pont AVS serait versée jusqu'au 31 juillet 1999 et qu'il pouvait demander à percevoir une rente de vieillesse anticipée dès le 1er août 1999. Le 27 août 1999, S._ a déposé une demande de rente de vieillesse (avec versement anticipé) auprès de la Caisse de compensation du canton du Jura (ci-après : la caisse). Par décision du 15 septembre 1999, la caisse l'a informé de son refus de lui octroyer une rente AVS anticipée, au motif que la demande était tardive. B.- Saisi d'un recours contre cette décision, le Tribunal cantonal de la République et canton du Jura, Chambre des assurances, par jugement du 12 juillet 2000, l'a admis, au regard du principe de la bonne foi, et a alloué au recourant une rente AVS anticipée du 1er août 1999 au 31 juillet 2000. C.- L'Office fédéral des assurances sociales interjette un recours de droit administratif contre ce jugement dont il demande l'annulation. S._ conclut au rejet du recours en se prévalant de sa bonne foi. La caisse ne s'est pas déterminée. 