Sachverhalt: A. A.a Der 1964 geborene, als Zimmermann-Hilfsarbeiter tätige S._ meldete sich am 19. November 1996 wegen eines unfallbedingten Rückenleidens bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht sprach die IV-Stelle des Kantons Aargau dem Versicherten mit Verfügung vom 4. Dezember 1997 ausgehend von einem Invaliditätsgrad von 100 % rückwirkend ab 1. Dezember 1996 eine ganze Invalidenrente zu. Die in den Jahren 1998 und 2002 durchgeführten Revisionen ergaben keine rentenbeeinflussende Änderung (Mitteilungen vom 22. Januar 1999 und vom 11. Januar 2002). A.b Im Jahre 2005 erfolgte eine erneute revisionsweise Überprüfung des Rentenanspruchs. Nachdem sich im Zuge der Abklärung des Rentenanspruchs der Ehefrau im Haushalts-Abklärungsbericht Anhaltspunkte für eine Verbesserung des Gesundheitszustandes des Versicherten ergeben hatten, wurde eine Begutachtung inklusive Evaluation des funktionellen Leistungsvermögens (ELF) in der Klinik X._ durchgeführt (Gutachten vom 4. Februar 2008). Gestützt darauf hob die IV-Stelle nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 12. Juni 2008 die Rente auf das Ende des der Zustellung der Verfügung folgenden Monats auf. Die vom Versicherten dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 24. September 2009 teilweise gut, hob die Verfügung auf und wies die Sache, nach Bejahung des Vorliegens von Revisionsgründen, zu weiteren Abklärungen und zur anschliessenden Neuverfügung an die IV-Stelle zurück. Diese holte verschiedene Verlaufsberichte ein und veranlasste in der Folge eine bidisziplinäre Abklärung durch Dr. med. Dipl. Psych. W._, Facharzt für Psychiatrie und Psychotherapie und Dr. med. J._, FMH Innere Medizin spez. Rheumatologie (Bericht vom 25. Juni 2011). Mit Verfügung vom 27. Januar 2012 bestätigte die IV-Stelle nach Durchführung des Vorbescheidverfahrens die Einstellung der Rente. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 12. Juli 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, in Aufhebung des kantonalen Gerichtsentscheides sei ihm weiterhin und auch für die Zeit ab 1. August 2008 eine ganze Invalidenrente auszurichten. Eventuell sei die Sache zur weiteren Sachverhaltsabklärung an die Vorinstanz zurückzuweisen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 