Sachverhalt: A. Der 1963 geborene K._ war seit 1. April 2001 als Betriebsmitarbeiter bei der D._ AG angestellt. Am 22. November 2002 zog er sich bei einem Arbeitsunfall eine Malleolarfraktur Typ Weber B rechts sowie Verbrennungen Grad I und II am Rücken zu. Nachdem der Kreisarzt der Schweizerischen Unfallversicherungsanstalt, bei welcher K._ obligatorisch gegen Unfälle versichert war, volle Arbeitsfähigkeit attestiert und die Anstalt ihre Leistungen per 24. März 2005 eingestellt hatte, wurde der Versicherte von der Arbeitgeberfirma auf Ende Juni 2005 entlassen. Am 3. Oktober 2005 meldete er sich unter Hinweis auf Beschwerden in Bein, Hüfte und Rücken, Verbrennungen sowie Depressionen bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf die getroffenen Abklärungen in erwerblicher und medizinischer Hinsicht, insbesondere eine Expertise des Instituts X._ vom 23. November 2006 lehnte die IV-Stelle des Kantons Aargau das Leistungsgesuch mit Verfügung vom 20. Juni 2007 ab. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 26. August 2008). Mit Schreiben vom 6. Februar 2009 liess K._ die Invalidenversicherung unter Beilage verschiedener Arztberichte um eine neue Beurteilung seiner Arbeits- und Erwerbsunfähigkeit ersuchen. Die IV-Stelle veranlasste eine erneute Begutachtung des Versicherten im Institut X._ (Expertise vom 23. August 2010). Am 24. November 2010 lehnte sie das Invalidenrentengesuch wiederum verfügungsweise ab, wobei sie den Invaliditätsgrad aufgrund der fachärztlichen Angaben auf 20 % festsetzte. B. Die von K._ hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 3. Januar 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine Invalidenrente zuzusprechen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 