Sachverhalt: A. Der 1960 geborene B._ war als Betonwerker bei der M._ AG tätig. Ab dem 25. November 2008 setzte er wegen starken Rückenschmerzen mit der Arbeit aus. Dr. med. R._, Facharzt für innere Medizin FMH, stellte auf Grund einer MRI-Untersuchung die Diagnose von lumbosacralen Schmerzen bei lumbosacraler Übergangsstörung mit bilateraler Hemisacralisation der Processi transversi LWK5 zu Massa lateralis des SWK1 bei schwer degenerativen Veränderungen der Nearthrose rechts mit höhergradiger Einengung ausserhalb des Foramen intervertebrale rechts mit Kompression auf die Nervenwurzel L5 extraforaminal. Am 11. Mai 2009 meldete sich B._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau holte verschiedene medizinische Berichte der behandelnden Ärzte - unter anderem den Austrittsbericht über einen stationären Aufenthalt vom 10. Oktober bis 16. November 2009 an der Rehaklinik X._ - ein. Nach Durchführung des Vorbescheidverfahrens teilte sie dem Versicherten verfügungsweise mit, er könne seine bisherige Tätigkeit als Betonwerker seit November 2008 nicht mehr ausüben. Hingegen sei ihm in einer angepassten, körperlich leichten bis teilweise mittelschweren Tätigkeit ohne Zwangshaltung der Wirbelsäule ein volles Pensum zumutbar, was zu einem Invaliditätsgrad von 16 % führe. Er habe damit keinen Anspruch auf eine Invalidenrente (Verfügung vom 26. April 2010). B. Das Versicherungsgericht des Kantons Aargau wies die dagegen erhobene Beschwerde, mit welcher die Zusprechung einer halben Invalidenrente bei einem Invaliditätsgrad von 58 %, eventuell die Durchführung weiterer Abklärungen, beantragt worden war, mit Entscheid vom 17. November 2010 ab. C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die erstinstanzlich gestellten Anträge erneuern. Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichtet. 