Sachverhalt: A. A.a Die 1955 geborene E._ meldete sich am 8. November 2000 wegen verschiedenen gesundheitlichen Problemen bei der Invalidenversicherung zum Leistungsbezug an. Die Sozialversicherungsanstalt des Kantons Zürich (IV-Stelle) holte die medizinischen Akten der ebenfalls mit dem Fall beschäftigten Unfallversicherung - unter anderem mit einem psychiatrischen Gutachten der Dr. med. K._ vom 24. Mai 2006 - ein und liess die Versicherte selbst psychiatrisch durch Dr. med. R._ (Expertise vom 23. Mai 2007) begutachten. Im Anschluss daran gab sie zusätzlich ein polydisziplinäres Gutachten beim Institut X._ in Auftrag (Expertise vom 1. Juli 2009). Gestützt auf letzteres wies die IV-Stelle das Gesuch um Ausrichtung einer Rente mit Verfügung vom 18. Dezember 2009 ab. A.b Im daraufhin angehobenen Beschwerdeverfahren legte E._ ihrerseits ein psychiatrisches Gutachten des Dr. med. I._ vom 15. Juni 2010 zu den Akten. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 23. Dezember 2010 ab. Diesen hob das Bundesgericht mit Urteil vom 5. Juli 2011 auf (8C_148/2011). Es erwog, das kantonale Gericht habe die verschiedenen psychiatrischen Gutachten zu wenig gewürdigt und seinen Entscheid nicht umfassend begründet. Da sich die Expertisen auch hinsichtlich der Diagnosen widersprächen, habe die Vorinstanz nicht ohne Einholung eines umfassenden Obergutachtens entscheiden dürfen. Das Bundesgericht wies die Sache an das Sozialversicherungsgericht des Kantons Zürich zurück, damit dieses entsprechend verfahre und neu entscheide. B. Mit Entscheid vom 31. Mai 2012 hiess das Sozialversicherungsgericht des Kantons Zürich die Beschwerde in dem Sinne gut, als es feststellte, die Versicherte habe ab 1. Januar 2001 Anspruch auf eine halbe Rente, ab 1. Januar 2004 auf eine Dreiviertelsrente und ab 1. Mai 2005 auf eine ganz Rente der Invalidenversicherung. C. Die IV-Stelle des Kantons Zürich führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und stellt den Antrag, die Sache sei in Aufhebung des vorinstanzlichen Entscheides an das kantonale Gericht zurückzuweisen, damit dieses ergänzende Abklärungen treffe. E._ lässt auf Abweisung der Beschwerde schliessen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 