Sachverhalt: A. Der 1956 geborene K._ arbeitete seit 1986 als Strassenreiniger (Chauffeur Kategorie B). Am 26. August 2002 fiel er beim Schneiden eines Baumes von der Leiter und zog sich dabei eine Fussfraktur rechts zu, die am 3. September 2002 operativ versorgt wurde. Für die Folgen dieses Ereignisses richtet ihm der Unfallversicherer seit 1. August 2003 gestützt auf einen Invaliditätsgrad von 29 % eine Invalidenrente aus. Im Januar 2004 meldete sich K._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich klärte die medizinischen und erwerblichen Verhältnisse ab, wozu sie auch die Akten des Unfallversicherer beizog, und lehnte mit Verfügung vom 9. November 2004 das Gesuch um Ausrichtung einer Invalidenrente ab. Daran hielt sie auf Einsprache des Versicherten hin fest, wobei sie gleichzeitig auch den Anspruch auf berufliche Massnahmen verneinte (Entscheid vom 3. Januar 2007). B. Beschwerdeweise liess K._ beantragen, der Einspracheentscheid sei aufzuheben und es sei ihm eine ganze Rente zuzusprechen. Eventualiter sei er von Amtes wegen beruflich wieder einzugliedern und es sei der Fall zur üblichen IV-Abklärung zurückzuweisen. Subeventualiter sei die Sache zur medizinischen und beruflichen Abklärung und zur Einholung eines Gutachtens an die IV-Stelle zurückzuweisen. Mit Entscheid vom 20. November 2007 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben mit dem Rechtsbegehren, der kantonale Entscheid sei aufzuheben und es sei ihm eine "behinderungsangepasste Rente" zuzusprechen. Eventualiter sei die Sache zur weiteren Abklärung zurückzuweisen. Das in der Beschwerde gestellte Gesuch um unentgeltliche Rechtspflege (Prozessführung, Verbeiständung) zog er im Verlaufe des Verfahrens zurück (Schreiben vom 28. Januar 2008). 