Sachverhalt: A. Gemäss Urteil des Eidgenössischen Versicherungsgerichts vom 13. Juni 2001 bezog der 1956 geborene B._ seit 1. April 1996 eine halbe Invalidenrente. Gestützt auf eine Expertise des Begutachtungsinstituts X._ vom 10. Juli 2002 hob die IV-Stelle des Kantons Zürich die halbe Rente mit Verfügung vom 30. Oktober 2003 auf Ende November 2003 auf. Mit Schreiben vom 10. November 2005 meldete sich der Versicherte unter Hinweis auf die Verschlechterung seines Gesundheitszustandes erneut zum Bezug einer Invalidenrente an. Nach Einholung verschiedener Arztberichte lehnte die IV-Stelle nach Durchführung des Vorbescheidverfahrens das Rentengesuch ab, weil seit der Aufhebung der Invalidenrente keine Verschlechterung des Gesundheitszustandes eingetreten sei (Verfügung vom 20. September 2006). B. Die von B._ hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. März 2008 ab. C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides sei die Sache zu ergänzenden Abklärungen und neuer Entscheidung an das kantonale Gericht oder die Verwaltung zurückzuweisen; eventuell sei ihm ab November 2005 eine Viertelsrente der Invalidenversicherung zuzusprechen. Ferner ersucht er um die Bewilligung der unentgeltlichen Prozessführung. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 