Sachverhalt: A. Der 1956 geborene C._ arbeitete seit Juni 2002 als Maurer. Am 4. Juli 2005 fiel er mit einem von einer starken Windböe erfassten und umgerissenen Gerüst zu Boden und erlitt Verletzungen an den Beinen und Rippen. Die Schweizerische Unfallversicherungsanstalt (SUVA) erbrachte für diesen Unfall Leistungen. Wegen einer Rückenoperation bei Bandscheibenproblemen, Nackenbeschwerden nach HWS-Distorsion bei Sturz und vorbestehender Osteochondrose meldete sich C._ am 26. Juni 2006 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich liess unter anderen Vorkehren bei der Medizinischen Abklärungsstelle (MEDAS), Institut X._ ein polydisziplinäres Gutachten vom 19. September 2008 erstellen. Mit Vorbescheid vom 10. Oktober 2008 wurde dem Versicherten mitgeteilt, der Invaliditätsgrad betrage lediglich 10 %. Nach Einreichung verschiedener Unterlagen und Einholung von weiteren Berichten der Rheumaklinik des Universitätsspitals Y._ über das Arbeitsassessment vom 18. April 2008 sowie der Uniklinik A._ vom 9. März 2009 wies die IV-Stelle das Leistungsbegehren mit Verfügung vom 5. Mai 2009 ab. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. Dezember 2010 ab. C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheides sei unter Kosten- und Entschädigungsfolgen die Beschwerdegegnerin zu verpflichten, ihm eine Invalidenrente auf der Grundlage eines Invaliditätsgrades von mindestens 40 % auszurichten. 