Sachverhalt: A. Der 1977 geborene F._ reiste 1998 aus Mazedonien in die Schweiz ein. Ab 1999 arbeitete er als Chauffeur bei der Auslieferung von Videokassetten und CDs, wobei er am 6. November 2000 mit dem Auto verunfallte und sich nebst einer Thoraxkontusion mit Rippenfrakturen eine Halswirbelsäulen-Kontusion und eine Hirnerschütterung zuzog. Einen weiteren (Auffahr-)Unfall erlitt F._ am 8. Februar 2002. Dieser führte zu einer vorübergehenden Exacerbation der HWS-Beschwerden. Am 1. März 2002 meldete er sich wegen Schmerzen im Bereich der Hals- und Lendenwirbelsäule, Kopfschmerzen und Schwindel bei der Invalidenversicherung zum Leistungsbezug an. Der Versicherte nahm nach dem ersten Unfall keine Erwerbstätigkeit mehr auf. Das Bundesgericht bestätigte mit Urteil vom 10. Juli 2009 die von der Unfallversicherung per 31. Juli 2005 verfügte Einstellung der Versicherungsleistungen mangels adäquater Kausalität zwischen den geltend gemachten Gesundheitsschäden und dem versicherten Unfall. Nach einem langjährigen Verlauf mit verschiedenen spezialmedizinischen Untersuchungen, insbesondere einer polydisziplinären Abklärung an der Abklärungsstelle X._ vom 22. September 2008, verneinte die IV-Stelle einen Leistungsanspruch, da weder eine langandauernde Arbeitsunfähigkeit bestanden habe, noch aktuell eine solche bestehe, weshalb keine Invalidität vorliege (Verfügung vom 3. Februar 2009). B. Die hiegegen erhobene Beschwerde des F._ wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 4. März 2010 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt F._ unter Aufhebung des angefochtenen Entscheides beantragen, es sei ihm ab November 2001 mindestens eine halbe Rente auszurichten, eventuell sei ein Obergutachten einzuholen. Zudem wird um unentgeltliche Rechtspflege ersucht. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 