Sachverhalt: A. A.a. Die X._ Finanz AG mit Sitz in A._/ZG ist eine 100-prozentige Tochtergesellschaft der X._ Holding AG (ebenfalls mit Sitz in A._/ZG) und bezweckt im Wesentlichen die "Erbringung von Dienstleistungen hauptsächlich im Finanzbereich an Konzerngesellschaften der X._-Gruppe". Gemäss eigener Darstellung unterhält die X._ Finanz AG zu diesem Zweck eine Betriebsstätte auf den Cayman Islands; dort gehen vier Teilzeit-Mitarbeitende (mit je 20 Stellenprozent) in gemieteten Büros ihrer Arbeit nach. A.b. Mit einem "Ruling" vom 10. August 1999 zwischen der X._ Holding AG und der Steuerverwaltung des Kantons Zug wurden für den Fall, dass die Finanzierung über eine ausländische Betriebsstätte einer Schweizer Finanzierungsgesellschaft erfolge, "die der ausländischen Betriebsstätte zuzurechnenden Gewinne von der Besteuerung (...) in der Schweiz ausgenommen". Bis und mit Steuerjahr 2004 schied die Steuerverwaltung den Nettofinanzertrag der X._ Finanz AG aus der Darlehensgewährung gegenüber den Gruppengesellschaften vollständig zu Gunsten der Betriebstätte auf den Cayman Islands aus. Im Verlauf des Jahres 2004 nahm die kantonale Steuerverwaltung auf Anweisung der Eidgenössischen Steuerverwaltung (ESTV) Abklärungen betreffend den Bestand der Betriebsstätte vor. Mit Schreiben vom 9. Februar 2005 teilte die kantonale Steuerverwaltung der X._ Finanz AG mit, dass die ESTV der Auffassung sei, auf den Cayman Islands werde keine Geschäftstätigkeit im Sinne einer Betriebsstätte ausgeübt; entsprechend habe die ESTV die kantonale Steuerverwaltung aufgefordert, die internationale Steuerausscheidung im Verhältnis zur Zweigniederlassung auf den Cayman Islands ab 1. Januar 2005 zu verweigern. A.c. Mit Veranlagungsverfügungen vom 27. Mai 2008 wurde für die direkte Bundessteuer 2005 und 2006 ein vollständig in der Schweiz zu versteuernder Reingewinn von Fr. 8'643'000.-- (2005) bzw. Fr. 9'468'300.-- (2006) festgestellt. Bei einem Steuersatz von 8.5% resultierte dabei eine Gewinnsteuer in der Höhe von Fr. 734'655.-- (2005) bzw. Fr. 804'805.50 (2006). B. Gegen diese Veranlagungsverfügungen erhob die X._ Finanz AG Einsprache und verlangte die Zulassung einer Steuerausscheidung im Verhältnis zu den Cayman Islands für die Steuerperioden 2005 und 2006. Nach Durchführung einer Einspracheverhandlung hiess die Rechtsmittelkommission der kantonalen Steuerverwaltung am 23. November 2009 die Einsprache gut. Demzufolge wurde der Nettofinanzertrag aus der Darlehensgewährung gegenüber den Gruppengesellschaften der X._ Finanz AG vollumfänglich zu Gunsten der Betriebsstätte auf den Cayman Islands ausgeschieden und der steuerbare Reingewinn der X._ Finanz AG für die Steuerperioden 2005 und 2006 auf Fr. 0.-- festgelegt. Eine dagegen von der ESTV erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug, Abgaberechtliche Kammer, mit Urteil vom 21. Juli 2011 ab. Es bejahte einerseits den Betriebsstättencharakter der Einrichtungen auf den Cayman Islands und erblickte in der gewählten Rechtsgestaltung keine Steuerumgehung; nicht geprüft hat die Vorinstanz die Frage, ob sich die Beschwerdegegnerin gestützt auf das "Ruling" auf den Vertrauensschutz berufen konnte. C. Am 12. September 2011 hat die ESTV Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht erhoben. Sie beantragt, das Urteil des Verwaltungsgerichts des Kantons Zug vom 21. Juli 2011 sei aufzuheben. Weiter sei die X._ Finanz AG für die direkte Bundessteuer in der Steuerperiode 2005 mit einem Gewinn von Fr. 8'643'000.-- und in der Steuerperiode 2006 mit einem Gewinn von Fr. 9'468'300.-- zu veranlagen; eine internationale Steuerausscheidung sei zu unterlassen. D. Das Verwaltungsgericht des Kantons Zug beantragt, die Beschwerde sei abzuweisen, während die kantonale Steuerverwaltung auf eine Vernehmlassung verzichtet. Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Für den Fall einer Gutheissung sei die Sache zwecks Vervollständigung der Akten an die Vorinstanz zurückzuweisen. Die II. öffentlich-rechtliche Abteilung des Bundesgerichts hat die Angelegenheit am 5. Oktober 2012 an einer öffentlichen Sitzung beraten. 