Sachverhalt: A. Der 1941 geborene M._ meldete sich am 16. Dezember 2003 bei der Invalidenversicherung zum Leistungsbezug an. Nach medizinischen Abklärungen verneinte die IV-Stelle des Kantons Solothurn mit Verfügung vom 14. Oktober 2004 und Einspracheentscheid vom 28. September 2005 mangels eines rentenbegründenden Invaliditätsgrades einen Rentenanspruch. Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn in dem Sinne gut, dass es die Sache zu ergänzenden Abklärungen im Sinne der Erwägungen an IV-Stelle zurückwies, wobei es erwog, für die Zeit bis 25. Oktober 2004 sei kein invalidisierender Gesundheitsschaden ausgewiesen (Entscheid vom 15. Januar 2007). Mit Urteil vom 5. Dezember 2007 trat das Bundesgericht auf die dagegen geführte Beschwerde nicht ein. Nach Einholung einer Expertise zur geltend gemachten Rückenproblematik bei Dr. med. L._, FMH Innere Medizin und Rheumaerkrankungen, Manuelle Medizin SAMM, Neuraltherapie ÖÄK, vom 10. April 2008, verneinte die IV-Stelle erneut einen Leistungsanspruch, da keine Invalidität vorliege (Verfügung vom 10. September 2008) B. Die von M._ dagegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 12. August 2009 ab, soweit es darauf eintrat. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Entscheids sei ihm mit Wirkung ab 1. Juni 2003 eine halbe Rente der Invalidenversicherung bei einem Invaliditätsgrad von 56 % und mit Wirkung ab 1. Oktober 2004 auf der Basis eines Invaliditätsgrades von 78 % eine ganze Invalidenrente zuzusprechen. Die IV-Stelle beantragt Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Die Vorinstanz schliesst ebenfalls auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen hat auf eine Vernehmlassung verzichtet. 