Sachverhalt: A. Die 1963 geborene B._ war zuletzt als Mediatorin und juristische Mitarbeiterin der Rechtsanwälte N._ erwerbstätig gewesen, als sie sich am 16. Juni 2004 unter Hinweis auf einen am 19. November 2002 erlittenen Unfall bei der IV-Stelle des Kantons Zürich anmeldete und unter anderem eine Rente beantragte. Diese zog die Akten der Unfallversicherung bei und holte eine interdisziplinäre Expertise bei der MEDAS ein (Gutachten vom 3. März 2010). Nach Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 27. September 2010 bei einem Invaliditätsgrad von 20 % einen Rentenanspruch der Versicherten. B. Die von B._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich unter gleichzeitiger Abweisung eines Gesuchs um unentgeltliche Rechtspflege mit Entscheid vom 17. November 2011 ab. C. Mit Beschwerde beantragt B._, ihr sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheides eine Rente aufgrund eines Invaliditätsgrades von 100 % auszurichten, eventuell sei ihr die unentgeltliche Rechtspflege für das kantonale Verfahren zu gewähren. Gleichzeitig stellt B._ ein Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren. Während die IV-Stelle des Kantons Zürich auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. D. In Ihrer Eingabe vom 31. Mai 2012 hielt B._ an ihren Anträgen fest. 