Sachverhalt: A. A.a. S._ (geboren 1958) arbeitete vom 1. Juni 2001 bis 28. Februar 2005 im Reinigungsdienst. Im April 2004 meldete sie sich bei der IV-Stelle Bern zum Bezug von Leistungen der Invalidenversicherung an. Nach Einholen eines polydisziplinären Gutachtens der Medizinischen Abklärungsstation des Spitals X._ (MEDAS) vom 29. Juni 2006 verneinte die IV-Stelle mit Verfügung vom 3. Oktober 2006 einen Anspruch auf eine Invalidenrente. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 31. Mai 2007 ab. A.b. Am 29. Juni 2010 meldete sich S._ erneut zum Leistungsbezug an. Nach Einholen eines Gutachtens der Psychiaterin Dr. med. H._ vom 12. Juli 2011, von Stellungnahmen des Regionalen Ärztlichen Dienstes (RAD), Dres. med. W._, Fachärztin für Psychiatrie und Psychotherapie FMH, und P._, Facharzt für Orthopädische Chirurgie FMH, vom 15./16. November 2011 verneinte die IV-Stelle mit Verfügung vom 23. November 2011 wiederum einen Anspruch auf eine Invalidenrente. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 2. November 2012 ab, soweit es darauf eintrat. C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides seien ihr die gesetzlichen IV-Leistungen (Integrationsmassnahmen nach Art. 14 IVG, berufliche Massnahmen, Invalidenrente) nach Massgabe einer Erwerbsunfähigkeit von mindestens 40 % nebst Verzugszins zu 5 % auszurichten. Eventuell sei die Sache an die Vorinstanz, subeventuell an die IV-Stelle zurückzuweisen, damit diese den rechtserheblichen Sachverhalt, unter anderem mit einem medizinischen Gutachten sowie beruflich-erwerbsbezogen, abklärten. Die IV-Stelle und die kantonale Vorinstanz seien zu verpflichten, die ihr entstandenen Kosten für die Einholung der medizinischen Stellungnahmen von Dr. med. M._ im Betrage von Fr. 3'500.- und von Fr. 2'000.- zu ersetzen. Eventuell sei die Sache zur Prüfung der Kostenerstattungspflicht an die beiden Vorinstanzen zurückzuweisen. 