Sachverhalt: A. Die 1971 mit einer Torticollis congenita geborene D._, gelernte Papeteristin und nach einer Umschulung zur Büroangestellten als Sekretärin tätig, zuletzt ab Oktober 2000 bis Ende Oktober 2005 bei der M._ AG, unterzog sich 1991 einer dorsalen Spondylodese (Wirbelsäulenversteifung) vom vierten Brust- bis zum vierten Lendenwirbel sowie einer Acromioplastik wegen Beschwerden der rechten Schulter im Juli 2005. Am 12. Dezember 2005 meldete sie sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht und durchgeführtem Vorbescheidverfahren wies die IV-Stelle des Kantons Zürich mit Verfügung vom 4. Mai 2007 einen Rentenanspruch ab. Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Oktober 2008 gut und wies die Sache zu weiteren Abklärungen betreffend Haltungsmuskulatur Hals/Schultern an die IV-Stelle zurück. Diese holte unter anderem ein Gutachten des Dr. med. J._, Facharzt für Orthopädische Chirurgie vom 15. September 2009 ein und wies das Rentenbegehren mit Verfügung vom 20. September 2010 erneut ab. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Mai 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt D._ beantragen, unter Aufhebung des angefochtenen Entscheides sei die Sache zur erneuten Sachverhaltsabklärung unter Würdigung sämtlicher Befunde an die Vorinstanz, eventualiter an die IV-Stelle zurückzuweisen. Zudem ersucht sie um Gewährung der unentgeltlichen Rechtspflege. 