Sachverhalt: A. A.a Der 1956 geborene Carchauffeur Z._ meldete sich am 28. September 2005 wegen Rückenbeschwerden zum Bezug von Leistungen bei der Invalidenversicherung an. Die Sozialversicherungsanstalt des Kantons Aargau (IV-Stelle) wies das Gesuch mit Verfügung vom 23. März 2006 ab. Im daraufhin angehobenen Einspracheverfahren liess sie den Versicherten am Institut X._ orthopädisch und psychiatrisch begutachten (Expertise vom 27. September 2007). Gestützt darauf wies sie die Einsprache mit Entscheid vom 17. April 2008 ab. A.b Am 12. Mai 2009 erfolgte eine erneute Anmeldung des Versicherten bei der IV-Stelle. Diese zog diverse Arztberichte bei und liess Z._ bei der MEDAS Y._ (nachfolgend: MEDAS) wiederum bidisziplinär begutachten (Expertise vom 16. September 2010). Mit Verfügung vom 15. Februar 2011 verneinte die IV-Stelle einen Anspruch auf eine Invalidenrente. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 18. Januar 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt Z._ beantragen, in Aufhebung des kantonalen Entscheides sei die Invalidenversicherung zu verpflichten, ihm ab 1. Mai 2009 eine ganze Invalidenrente zu gewähren. Bei der Vorinstanz wurden die Akten eingeholt. Ein Schriftenwechsel wurde nicht angeordnet. 