A.- Der 1949 geborene P._ war bis zur Auflösung des Arbeitsverhältnisses aus wirtschaftlichen Gründen Ende Oktober 1993 in der Firma Z._ AG als angelernter Landschaftsgärtner tätig. Seither geht er keiner Erwerbstätigkeit mehr nach. Am 19. September 1995 meldete er sich wegen Rückenproblemen erstmals bei der Invalidenversicherung zum Leistungsbezug an. Nach Einholung von Berichten des Dr. med. G._ vom 21. Oktober 1995, des Dr. med. L._ vom 25. Februar 1996 und eines Gutachtens der Medizinischen Abklärungsstelle (Medas) vom 6. Mai 1997 verneinte die IV-Stelle des Kantons Zürich die Notwendigkeit beruflicher Massnahmen und den Anspruch auf eine Invalidenrente (Verfügung vom 25. Juli 1997). Das Sozialversicherungsgericht des Kantons Zürich (Entscheid vom 3. November 1998) und das Eidgenössische Versicherungsgericht (Urteil vom 16. März 1999) bestätigten diese Verfügung. Mit Neuanmeldung vom 3. März 2000 ersuchte P._ um Zusprechung einer Rente und Berufsberatung. Die IV-Stelle zog die Berichte des Dr. med. H._ vom 22. November 1999 und des Dr. med. B._ vom 2. Mai 2000 bei, welchem ein Bericht des Gefässzentrums des Spitals vom 5. November 1999 beilag. Gestützt auf diese Unterlagen kam sie zum Schluss, der Invaliditätsgrad habe sich seit dem Erlass der ersten rentenabweisenden Verfügung nicht entscheidwesentlich verändert, weshalb sie den Leistungsantrag - nach Durchführung des Vorbescheidverfahrens - mit Verfügung vom 1. September 2000 wiederum ablehnte. B.- Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. März 2001 ab. C.- Mit Verwaltungsgerichtsbeschwerde lässt P._ sinngemäss die Zusprechung einer Invalidenrente beantragen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. 