Sachverhalt: A. Die X._ GmbH (Beschwerdeführerin) mit Sitz in Deutschland ist ein Dienstleistungsunternehmen, das im Bereich der gewerblichen Immobilienwirtschaft als Beraterin und Managerin tätig ist. Im Kern ihrer Tätigkeit unterstützt sie dabei vornehmlich Vermieter und Grundstückeigentümer von Gewerbeimmobilien mittels Entwicklung von immobilienspezifischen Vertriebs- und Vermarktungskonzepten sowie mit dem Aufbau von Informationsdatenbanken. Die Y._ Office AG (Beschwerdegegnerin) mit Sitz in Zürich ist ein Immobilienunternehmen, dessen Zweck im Erwerb, Halten und Verkauf von Liegenschaften und Grundstücken besteht. Sie besitzt und bewirtschaftet ein Immobilienportfolio mit einem Wert von Fr. 1,9 Mia., das zu etwa 75% aus Geschäftsliegenschaften besteht. Die Y._-Gruppe, zu der auch die Beschwerdegegnerin gehört, ist zudem als Generalunternehmung tätig. Mit Vertrag vom 5./8. September 2005 beauftragte die Beschwerdegegnerin die Beschwerdeführerin rückwirkend per 1. Juli 2005 mit der Anwendung des Database-Marketing-Verfahrens zur Erreichung der besseren Vermarktung ihrer Immobilien. Die Leistungen bezogen sich vordergründig auf die Vertriebsobjekte "W._", die Liegenschaft "V._" sowie die Liegenschaft "S._". Die recherchierten Informationen sollten der Beschwerdegegnerin darüber hinaus aber auch für die Vermarktung ihres gesamten Immobilienportfolios zur Verfügung stehen. Gemäss Vertrag verpflichtete sich die Beschwerdeführerin zur Erstellung eines Vertriebsdrehbuches und einer Datenbank mit Firmen in der Region Zürich, die von ihr als potentielle Mieter für Netto-Büroflächen von mindestens 200 Quadratmeter ermittelt wurden. Diese und die Vertriebsmanagement-Leistungen der Beschwerdeführerin vergütete die Beschwerdegegnerin pauschal mit Fr. 501'314.--. Der Vertrag der Parteien wurde per 31. Dezember 2006 durch die Beschwerdegegnerin beendigt; dies entspricht der letzten Rechnung der Beschwerdeführerin für Vertriebsmanagement-Leistungen vom 31. Dezember 2006. In der Folge forderte die Beschwerdeführerin ein Erfolgshonorar. Die Beschwerdegegnerin wies einen solchen Anspruch zurück. B. Am 4. Juli 2007 reichte die Beschwerdeführerin beim Handelsgericht des Kantons Zürich Klage ein, mit der sie beantragte, die Beschwerdegegnerin sei zu verpflichten, ihr den Betrag von Fr. 1'149'842.72 zuzüglich Zins zu 5% seit Klageeinreichung zu bezahlen. Nach Durchführung eines Beweisverfahrens wies das Handelsgericht die Klage mit Urteil vom 28. September 2011 ab. C. Die Beschwerdeführerin erhebt Beschwerde in Zivilsachen sowie subsidiäre Verfassungsbeschwerde und stellt dem Bundesgericht folgende Rechtsbegehren: "1. Das Urteil des Handelsgerichts Zürich vom 28. September 2011 sei aufzuheben. 2. Die Beklagte sei zu verpflichten, der Klägerin den Betrag von CHF 1'149'842.72 zuzüglich Zins zu 5% p.a. seit Klageeinreichung zu bezahlen. 3. Festzustellen, dass das Handelsgericht Zürich befangen ist. 4. Festzustellen, dass das Handelsgericht des Kantons Zürich kein unabhängiges und unparteiisches Gericht im Sinn von Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK ist. 5. Festzustellen, dass die [vom] Handelsgericht festgesetzte Gerichtsgebühr und die Prozessentschädigung mit dem maximal zulässigen Satz überhöht berechnet wurde. 6. Festzustellen, dass die Höhe der Schweizer Prozesskosten für Unternehmen eine unzulässige Eintrittshürde zur Durchsetzung von Rechtsansprüchen darstellt und damit gegen Art. 29 BV und Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK verstösst. 7. Unter Kosten- und Entschädigungsfolgen zu Lasten der Beklagten." Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Die Vorinstanz verzichtete auf eine Vernehmlassung. Die Beschwerdeführerin reichte eine Replik ein. Die Beschwerdegegnerin verzichtete auf Gegenbemerkungen. 