Sachverhalt: A. Die 1961 geborene T._ war zuletzt als Lagermitarbeiterin der Firma P._ AG erwerbstätig. Am 26. Juni 2005 meldete sich die Versicherte unter Hinweis auf seit Sommer 2001 bestehende Rückenschmerzen und Depression bei der IV-Stelle Solothurn zum Leistungsbezug an und beantragte Berufsberatung, Umschulung und eine Rente. Nach medizinischen Abklärungen und Durchführung des Vorbescheidverfahrens wies die IV-Stelle mit Verfügung vom 3. September 2008 das Gesuch um Ausrichtung einer Rente bei einem Invaliditätsgrad von 4 % ab. B. Die von T._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 31. August 2009 ab. C. Mit Beschwerde beantragt T._, die Sache sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheides zu weiteren Abklärungen an die IV-Stelle zurückzuweisen; zudem sei diese zu verpflichten, ihr die Kosten für das Parteigutachten der Dr. med. L._ in der Höhe von Fr. 5'380.- zu erstatten. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 