Sachverhalt: A. Der 1955 geborene H._ meldete sich am 18. August 2005 bei der Invalidenversicherung zum Leistungsbezug an. Gegen die einen Anspruch verneinende Verfügung der IV-Stelle Basel-Stadt vom 30. Januar 2007 erhob er Beschwerde, welche das Sozialversicherungsgericht Basel-Stadt mit Rückweisungsentscheid vom 13. September 2007 guthiess. Nach Vornahme weiterer Abklärungen sprach die IV-Stelle H._ mit Verfügung vom 7. Juli 2009 ab 1. März 2009 eine ganze Rente basierend auf einem Invaliditätsgrad von 78 % zu. B. Am 14. September 2009 liess H._ Beschwerde erheben und beantragen, der Beginn des Anspruchs auf eine Invalidenrente sei unter Aufhebung der Verfügung der IV-Stelle neu festzusetzen, und zwar auf den 1. August 2004 für eine Viertelsrente resp. auf den 1. September 2007 für eine ganze Rente. Das Sozialversicherungsgericht Basel-Stadt wies die Beschwerde mit Entscheid vom 10. Dezember 2009 ab. C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und in Erneuerung der vor Vorinstanz gestellten Begehren beantragen, der Entscheid vom 10. Dezember 2009 sei aufzuheben; eventualiter sei die Sache zwecks Vornahme zusätzlicher medizinischer Abklärungen an die Vorinstanz oder die Verwaltung zurückzuweisen. Ferner lässt er um unentgeltliche Rechtspflege ersuchen. Die IV-Stelle schliesst auf Abweisung der Beschwerde, das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 