Sachverhalt: A. Der 1964 geborene M._ arbeitete als Bauarbeiter und Gerüstmonteur. Im Januar 1995 meldete er sich unter Hinweis auf die Folgen von 1992 und 1993 erlittenen Unfällen bei der Invalidenversicherung zum Leistungsbezug an. Vom 1. Februar bis 30. April 1996 liess die IV-Stelle des Kantons Zürich eine berufliche Abklärung durchführen. Mit Verfügung vom 12. September 1996 verneinte sie einen Anspruch auf berufliche Massnahmen. Die Schweizerische Unfallversicherungsanstalt (SUVA) erbrachte die gesetzlichen Leistungen für die Folgen des Unfalles vom Juli 1992 wie auch von zwei weiteren am 10. Februar und 25. August 2001 erlittenen Unfällen. Mit Verfügung vom 14. August 2002 hob sie die ausgerichtete Invalidenrente auf. In einer weiteren Verfügung vom 29. November 2005 sprach sie M._ eine Invalidenrente aufgrund einer Erwerbsunfähigkeit von 36 % und eine Integritätsentschädigung aufgrund einer Integritätseinbusse von 10 % zu. Die SUVA wies die dagegen erhobene Einsprache (Entscheid vom 17. Januar 2007) und das Sozialversicherungsgericht des Kantons Zürich die gegen den Einspracheentscheid erhobene Beschwerde ab (Entscheid vom 3. September 2007). Auf eine erneute Anmeldung zum Leistungsbezug vom Juli 2003 hin verneinte die IV-Stelle den Anspruch des Versicherten auf eine Invalidenrente (Verfügung vom 17. Januar 2006, bestätigt mit Einspracheentscheid vom 16. Mai 2006). Die von M._ dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich in dem Sinne gut, dass es den Einspracheentscheid aufhob und die Sache an die IV-Stelle zurückwies, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den Leistungsanspruch neu verfüge (Entscheid vom 3. September 2007). Im November 2007 ersuchte M._ zusätzlich um berufliche Massnahmen. Die IV-Stelle nahm einen Bericht des Zentrum X._, vom 14. Januar 2008 zu den Akten und liess den Versicherten durch Dr. med. K._, Spezialarzt Psychiatrie und Psychotherapie FMH, begutachten (Gutachten vom 10. Juli 2008). Mit Verfügungen vom 26. und 27. Januar 2010 verneinte die IV-Stelle den Anspruch auf berufliche Massnahmen und eine Rente. B. Beschwerdeweise liess M._ das Rechtsbegehren stellen, es sei die Verfügung vom 27. Januar 2010 aufzuheben und die IV-Stelle zu verpflichten, ihm mindestens eine halbe Rente zuzusprechen. Eventualiter sei die Sache zur weiteren Abklärung (insbesondere fachärztliches Gutachten zur Frage der Pathologie des Schlafes, psychiatrisches Gutachten und Abklärung der Leistungsfähigkeit beim Zentrum Y._) und zu neuer Verfügung an die IV-Stelle zurückzuweisen. Mit Entscheid vom 28. Februar 2011 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das im kantonalen Verfahren gestellte Rechtsbegehren erneuern. 