Sachverhalt: A. A.a Der 1960 geborene A._ meldete sich im September 1995 unter Hinweis auf eine dialysepflichtige Niereninsuffizienz bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich sprach ihm mit Verfügung vom 1. Februar 1996 bei einem Invaliditätsgrad von 46 % mit Wirkung ab 1. September 1994 eine Viertelsrente der Invalidenversicherung zu. Mit Verfügung vom 17. Juni 1997 erhöhte sie diese mit Wirkung ab 1. Februar 1997 auf eine halbe Härtefallrente (Invaliditätsgrad 46 %). In den Jahren 1997 und 1999 bestätigte sie den Anspruch auf die bisherige Rente. Im Rahmen einer im Mai 2002 eingeleiteten amtlichen Revision ermittelte die IV-Stelle beim Versicherten einen Invaliditätsgrad von 32 % und hob die Rente mit Wirkung auf Ende November 2003 auf (Verfügung vom 7. Oktober 2003). Daran hielt sie auf Einsprache des A._ hin rechtskräftig fest (Entscheid vom 26. Januar 2004). A.b Am 15. Juli 2004 reichte A._ ein neues Leistungsbegehren ein, auf welches die IV-Stelle nicht eintrat (Verfügung vom 23. Juli 2004). Die dagegen erhobene Einsprache hiess die Verwaltung gut und veranlasste weitere medizinische Abklärungen (Entscheid vom 10. Dezember 2004). Gestützt auf dieselben verneinte sie sodann mit Verfügung vom 27. Juli 2005 den Anspruch auf eine Rente. Daran hielt sie auf Einsprache hin fest (Entscheid vom 3. März 2006). B. Beschwerdeweise liess A._ beantragen, der Einspracheentscheid sei aufzuheben und es sei ein rheumatologisches Gutachten zur Frage der Arbeitsfähigkeit einzuholen. Mit Entscheid vom 24. Mai 2007 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der angefochtene Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. 