Sachverhalt: A. B._ (geboren 1968) meldete sich am 2. April 2003 zum Bezug von Leistungen der Invalidenversicherung an, nachdem ihm bereits vom 1. Dezember 1991 bis 31. August 1992 eine ganze Rente zugesprochen worden war. Gestützt auf die Gutachten des Dr. med. L._, FMH Innere Medizin und Rheumaerkrankungen, vom 31. August 2005 und des Dr. med. K._, FMH Psychiatrie und Psychotherapie, vom 8. April 2006 wies die IV-Stelle des Kantons Solothurn mit Verfügung vom 23. Oktober 2006 einen Anspruch auf berufliche Massnahmen und auf Invalidenrente ab. Diese Verfügung bestätigte das Versicherungsgericht des Kantons Solothurn auf Beschwerde hin mit Entscheid vom 21. Dezember 2007. Am 21. April 2008 gelangte B._ erneut an die IV-Stelle, da sein gesundheitlicher Zustand neue Erkenntnisse ergebe. Dr. med. S._, Allgemeine Medizin FMH, diagnostizierte im Arztbericht vom 3. Juni 2008 folgende Leiden mit Auswirkung auf die Arbeitsfähigkeit: ein lumbospondylogenes Schmerzsyndrom mit St. n. Spondylodese L4/5 1991 bei Spondylolisthesis, mit verstärkter Reizung SI seit 11/2007 rechts und ein chronisch rez. cervikoradikuläres Schmerzsyndrom bei intraforaminaler DH C4/5 und Osteochondrose und Spondylose C5/6 seit 2001. Mit Verfügung vom 22. Juli 2008 erteilte die IV-Stelle Kostengutsprache für ein Aufbautraining/Potenzialabklärung vom 18. August bis 14. September 2008. Das Assessment wurde gemäss Bericht des Amtes für Wirtschaft und Arbeit des Kantons Solothurn (Logistik arbeitsmarktliche Massnahmen) vom 6. Oktober 2008 im Bereich Mechanik abgebrochen. Daraufhin holte die IV-Stelle ein bidisziplinäres Gutachten bei Dr. med. O._, Facharzt Rheumatologie und Rehabilitation FMH, vom 7. Januar 2010 und bei Dr. med. W._, Psychiatrie und Psychotherapie FMH, vom 26. Januar 2010 ein. Die Gutachter kamen zur Beurteilung, dass sich die somatischen Beschwerden gegenüber der Begutachtung durch Dr. med. L._ nicht wesentlich verändert hätten. Aus psychiatrischer Sicht sei eine Arbeitsunfähigkeit von maximal 10% und gesamthaft eine solche von 20 bis maximal 25% für leichte bis mittelschwere Tätigkeit ohne Überkopfarbeit und ohne Extension der Halswirbelsäule gegeben. Im Vorbescheid vom 16. Juli 2010 stellte die IV-Stelle die Ablehnung eines Rentenanspruchs in Aussicht. Mit Einwand zum Vorbescheid legte B._ einen neuropsychologischen Bericht der Dr. phil. C._ vom 29. Juli 2010 vor. Am 11. Oktober 2010 reichte er weitere Akten, darunter ein von ihm in Auftrag gegebenes Privatgutachten des Dr. med. H._, Facharzt FMH für Neurologie, vom 22. September 2010 ein. Zu diesem Gutachten nahm Dr. med. E._, Facharzt Allgemeine Medizin FMH, vom Regionalen Ärztlichen Dienst der Invalidenversicherung (RAD) am 28. Februar 2011 Stellung. Mit Verfügung vom 20. April 2011 wies die IV-Stelle den Rentenanspruch ab und hielt dabei fest, der Versicherte habe bei einem Invaliditätsgrad von 38% Anspruch auf berufliche Massnahmen. Am 27. April 2011 teilte B._ der IV-Stelle mit, dass er berufliche Massnahmen ausdrücklich wünsche. B. B._ erhob gegen die rentenablehnende Verfügung vom 20. April 2011 Beschwerde. Nach Durchführung einer öffentlichen Verhandlung wies das Versicherungsgericht des Kantons Solothurn die Beschwerde mit Entscheid vom 29. Februar 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, in Aufhebung des vorinstanzlichen Entscheides seien ihm ab wann rechtens die gesetzlichen Leistungen (inkl. berufliche Eingliederungsmassnahmen) nach Massgabe eines Invaliditätsgrades von mindestens 40% nebst Verzugszins zuzusprechen; eventualiter sei ein ergänzendes interdisziplinäres Gutachten (unter Einbezug der rheumatologischen, psychiatrischen, neurologischen und neuropsychologischen Fachrichtung) einzuholen. Ferner seien die vollständigen Akten der SUVA inkl. Taggeld- und Heilungskostenabrechnung von Amtes wegen beizuziehen und die IV-Stelle habe die Honorarrechnung des Dr. med. H._ in Höhe von CHF 5'000.-- und diejenige der Dr. phil. C._ von CHF 2'890.-- zu übernehmen. 