Sachverhalt: A. Der 1959 geborene Y._, verheiratet und Vater zweier Kinder, kam 2004 als Flüchtling in die Schweiz. Im Oktober 2010 meldete er sich bei der Invalidenversicherung unter Hinweis auf psychische und körperliche Beschwerden (u.a. Rücken, Wirbelbruch im Gefängnis) als Folge politischer Verfolgung, Gefängnis und Folterung in den Jahren 1981 bis 1991 zum Leistungsbezug an. Nach Beizug medizinischer Berichte und beruflicher Abklärungen (Arbeitgeberbericht; Intake-Gespräch) liess die IV-Stelle des Kantons Solothurn ein Gutachten durch die Medizinische Abklärungsstation (MEDAS) vom 6. Mai 2011 erstellen. Im Rahmen des Einwandverfahrens reichte der Versicherte eine Stellungnahme des Dr. med. S._, Oberarzt, und lic. phil. I._, Fachpsychologin für Psychotherapie FSP vom Schweizerischen Roten Kreuz, Ambulatorium X._, vom 30. Juni 2011 ein. Nach Einholen einer Stellungnahme vom 17. Oktober 2011 des Dr. med. L._, Allgemeine Medizin FMH, vom Regionalen Ärztlichen Dienst (RAD) lehnte die IV-Stelle mit Verfügung vom 21. November 2011 berufliche Eingliederungsmassnahmen und die Ausrichtung einer Invalidenrente ab. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 26. Oktober 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt Y._ beantragen, in Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei die IV-Stelle zu verpflichten, ihm die vollumfänglichen beruflichen Massnahmen nach IVG zu gewähren und eine ganze Invalidenrente auszurichten. Eventuell sei die Sache an das kantonale Gericht, subeventualiter an die IV-Stelle zurückzuweisen, damit diese eine erneute interdisziplinäre medizinische Begutachtung in die Wege leiteten. Ferner beantragt er die unentgeltliche Prozessführung und Verbeiständung. Das kantonale Gericht schliesst auf Abweisung der Beschwerde, während IV-Stelle und Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichten. 