Sachverhalt: A. Die 1958 geborene L._ meldete sich am 26. Januar 2009 zum Bezug von Leistungen der Invalidenversicherung an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht stellte die IV-Stelle des Kantons Thurgau mit Vorbescheid vom 24. Februar 2009 die Abweisung des Leistungsbegehrens in Aussicht. Auf Einwand der Versicherten, mit welchem diese weitere Abklärungen beantragte, und nachdem die Allianz Suisse Versicherungs-Gesellschaft als Krankenversicherer ein psychiatrisches Gutachten des Dr. med. B._ vom 28. April 2009 eingereicht hatte, wies die IV-Stelle mit Verfügung vom 23. Juni 2009 einen Anspruch von L._ auf eine Invalidenrente mit der Begründung eines nicht invalidisierenden Gesundheitsschadens ab. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 14. April 2010 ab, nachdem L._ ein ebenfalls von der Allianz Suisse veranlasstes Gutachten des arbeitsmedizinischen Zentrums X._ vom 14. September 2009 ins Recht gelegt hatte. C. Mit Beschwerde in öffentlichen-rechtlichen Angelegenheiten lässt L._ beantragen, Ziffer 2 des Dispositivs des vorinstanzlichen Entscheides sei aufzuheben und die Gerichtskosten für das vorinstanzliche Verfahren seien vollumfänglich der IV-Stelle aufzuerlegen. Es sei ihr für das erstinstanzliche IV-Gerichtsverfahren eine angemessene Parteientschädigung zuzusprechen. Eventualiter sei die Sache zur erneuten Entscheidung über die Kosten- und Entschädigungsfolgen an die Vorinstanz zurückzuweisen. Die IV-Stelle und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung, während das Verwaltungsgericht des Kantons Thurgau auf Abweisung der Beschwerde schliesst. Mit Eingabe vom 1. Juli 2010 nimmt die Beschwerdeführerin Stellung. 