Sachverhalt: A. Der 1965 geborene S._ arbeitete seit dem 1. Juni 2003 als Barmann/Kellner bei der G._ AG, welche ein Nachtlokal betrieb. Am 1. Dezember 2003 wurde er dort nach Betriebsschluss um 2.15 Uhr Opfer eines bewaffneten Raubüberfalles, bei dem er bedroht und geschlagen wurde. In körperlicher Hinsicht erlitt er nebst oberflächlichen Wunden im Gesicht eine Rippenkontusion. S._ nahm seine berufliche Tätigkeit nach dem Vorfall nicht mehr auf. Das Arbeitsverhältnis wurde per Ende Februar 2004 gekündigt. Die Unfallversicherung erbrachte Leistungen in Form von Taggeld und Heilbehandlung, stellte ihre Leistungen auf den 1. Juli 2005 jedoch ein, da ein adäquater Kausalzusammenhang zwischen dem Ereignis und den persistierenden psychischen Beschwerden nicht mehr bestehe. Dieser Entscheid wurde letztinstanzlich mit Urteil vom 14. April 2008 bestätigt. Am 17. August 2004 meldete S._ sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau holte nebst den medizinischen Akten der Unfallversicherung auch Berichte des Hausarztes, Dr. med. B._, Facharzt FMH für innere Medizin, und der behandelnden Psychotherapeutin, lic. phil. L._, ein und liess durch die Dres. med. J._, Facharzt FMH für innere Medizin und Rheumatologie, und I._, Facharzt FMH für Psychiatrie und Psychotherapie, ein bidisziplinäres Gutachten erstellen. Gestützt auf die Expertise vom 14. April 2009 verneinte die IV-Stelle mit Verfügung vom 23. Dezember 2009 bei einem ermittelten Invaliditätsgrad von 34 % einen Rentenanspruch. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 13. Januar 2011 ab. C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides seien ihm die gesetzlich geschuldeten Leistungen, insbesondere eine Rente zuzusprechen. Eventualiter seien weitere Abklärungen des Sachverhaltes vorzunehmen. Im weiteren lässt er um die unentgeltliche Prozessführung ersuchen. Die IV-Stelle verzichtet mit Hinweis auf die Begründung des angefochtenen Entscheides auf eine Vernehmlassung. Das Bundesamt für Sozialversicherungen lässt sich nicht vernehmen. 