Sachverhalt: Die IV-Stelle des Kantons Aargau verneinte mit Verfügung vom 19. September 2003 den Rentenanspruch des 1963 geborenen A._ mangels rechtsgenüglichen Invaliditätsgrades, wobei sie zur Entscheidfindung u.a. auf zwei polydisziplinäre Gutachten der Ärztlichen Begutachtungsinstitut GmbH (ABI) vom 27. Oktober 2000 und 5. September 2003 sowie den Bericht der Abklärungs- und Ausbildungsstätte (BEFAS) X._ vom 1. November 2001 über berufliche Abklärungen abstellte. Mit Einspracheentscheid vom 23. Dezember 2003 hielt sie an ihrer Auffassung fest. Die dagegen erhobene Beschwerde, mit welcher A._ einen Bericht vom Hausarzt, Dr. med. H._ vom 19. Januar 2004 sowie den Austrittsbericht der Psychiatrischen Dienste Y._, IPD Klinik Z._, vom 9. Dezember 2003 ins Recht legte, wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 13. Oktober 2004 ab. A._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei ihm eine ganze Invalidenrente zuzusprechen. In prozessualer Hinsicht wird eine psychiatrische Begutachtung wie auch die unentgeltliche Rechtspflege beantragt. Die IV-Stelle und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung. 