Sachverhalt: A. Die Y._ AG (Beschwerdegegnerin) betreibt laut Handelsregisterauszug die Herstellung von und den Handel mit Armaturen und Rohrleitungsteilen sowie das Engineering der Versorgungs- und Entsorgungsbereiche Wasser, Abwasser und Gas. Sie verfügt für die Gebiete der Schweiz und des Fürstentums Liechtenstein über das exklusive Vertriebsrecht am sog. Z._-System für Wasserrohrleitungen, das von den Firmen Q._ und R._ AG (im Folgenden: Herstellerfirmen), hergestellt wird. Zu diesem System gehören neben Rohren und Armaturen sogenannte Formstücke, d.h. Verbindungsstücke für Rohre, und als charakteristisches Element die sogenannte Doppelkammer-Technologie mit der Z._ Schubsicherung. Die X._ SA (Beschwerdeführerin) ist in der Produktion und im Vertrieb von konkurrenzierenden Produkten tätig. Am 21. Januar 2002 schloss die Beschwerdeführerin mit der Beschwerdegegnerin einen bis Ende 2006 gültigen Rahmenlieferungsvertrag (nachfolgend RLV) über Z._ Schubsicherungen sowie Formstücke aus dem Formstückprogramm der Beschwerdegegnerin ab. Die Beschwerdeführerin verpflichtete sich, während der Vertragsdauer die entsprechenden Produkte ausschliesslich von der Beschwerdegegnerin zu beziehen. Überdies verpflichtete sie sich, inskünftig in Doppelkammer-Technologie hergestellte Rohre, Armaturen und Hydranten mit dem Z._-Programm auszustatten und auch den dafür benötigten Bedarf ausschliesslich über die Beschwerdegegnerin zu beziehen. Im Gegenzug verpflichtete sich diese, während der Dauer des Vertrages auf dem Gebiet der Schweiz und des Fürstentums Liechtenstein weder Dritte mit Formstücken mit blauer Epoxy-Beschichtung zu beliefern noch selbst solche zu vertreiben (Art. 3 RLV). Gemäss Art. 18 RLV hatte die Beschwerdegegnerin bis zum 31. März 2002 je eine schriftliche Erklärung der Herstellerfirmen beizubringen, wonach diese sich verpflichteten, die Beschwerdeführerin auch dann noch bis zum 31. Dezember 2006 direkt mit Vertragsprodukten zu beliefern, wenn die Vertragsprodukte in der Schweiz und im Fürstentum Liechtenstein nicht mehr durch die Beschwerdegegnerin vertrieben werden sollten. Mit Schreiben vom 22. Oktober 2003 stellte sich die Beschwerdeführerin auf den Standpunkt, die Beschwerdegegnerin habe nicht alle Erklärungen fristgerecht beigebracht, weshalb der Vertrag ohne weiteres per 31. Dezember 2002 dahingefallen sei. Überdies wies die Beschwerdeführerin auf Qualitätsmängel und unerfüllte technische Anforderungen hin und teilte der Beschwerdegegnerin mit, dass sie von einer weiteren Kooperation mit ihr absehe. B. Die Beschwerdegegnerin bestritt, dass der Vertrag dahingefallen oder rechtswirksam gekündigt worden sei. Sie gelangte mit einer vorläufig bezifferten Schadenersatzklage bzw. einer Stufenklage an das Schiedsgericht der Zürcher Handelskammer. B.a Mit Zwischenentscheid vom 23. Januar 2007 stellte das Schiedsgericht fest, der Rahmenvertrag habe nach dem 31. Dezember 2002 noch rechtsgültig weiter bestanden, die von der Beschwerdeführerin am 22. Oktober 2003 ausgesprochene Kündigung sei unwirksam gewesen und der Vertrag habe auch nach diesem Datum rechtsgültig fortbestanden. Ausserdem entschied das Schiedsgericht, welche Produkte die Beschwerdeführerin gemäss der Vereinbarung ausschliesslich bei der Beschwerdegegnerin zu beziehen hatte, nämlich die von der Beschwerdegegnerin vertriebenen Schubsicherungen «Z._/S._» sowie Formstücke aus dem Formstückprogramm der Beschwerdegegnerin in den Ausführungen mit Schraubmuffen, Steckmuffen (Ein- und Doppelkammer) und Flanschen, alle mit integraler Epoxy-Beschichtung, einschliesslich etwaiger Weiter- und/oder Neuentwicklungen derselben. Ferner sei die Beschwerdeführerin verpflichtet gewesen, alle von ihr in Doppelkammer-Technologie hergestellten Rohre, Armaturen und Hydranten mit dem Z._-Programm auszustatten und den dafür benötigten Bedarf ausschliesslich über die Beschwerdegegnerin zu beziehen. Schliesslich hielt das Gericht fest, dass sich die Bezugspflicht (entgegen dem Wortlaut des Vertrages) nicht auf Formstücke in blauer Farbe beschränke. Eine gegen diesen Entscheid von der Beschwerdeführerin erhobene Nichtigkeitsbeschwerde wies das Obergericht des Kantons Zürich am 14. Mai 2007 ab. Auf eine dagegen eingelegte Beschwerde in Zivilsachen trat das Bundesgericht mit Urteil 4A_232/2007 vom 2. Oktober 2007 nicht ein. B.b Nach Abschluss des weiteren Beweisverfahrens beantragte die Beschwerdegegnerin, die Beschwerdeführerin sei zu verpflichten, ihr Fr. 4'462'419.-- zuzüglich 5 % Zins ab 16. November 2004 zu bezahlen und der Rechtsvorschlag in der angehobenen Betreibung in entsprechendem Umfang zu beseitigen. Die Beschwerdeführerin schloss auf Abweisung der Klage. Mit (End)Schiedsspruch vom 23. Mai 2011 verpflichtete das Schiedsgericht die Beschwerdeführerin in teilweiser Gutheissung der Klage, der Beschwerdegegnerin Fr. 2'994'144.-- zuzüglich verschiedener Zinsbetreffnisse zu bezahlen. Auf den Antrag auf Beseitigung des Rechtsvorschlags trat es nicht ein. Die Schiedsgebühr von Fr. 490'000.-- und die übrigen Verfahrenskosten auferlegte es den Parteien je zur Hälfte und schlug die Parteientschädigungen wett. C. Die Beschwerdeführerin beantragt mit Beschwerde in Zivilsachen, den Schiedsspruch vom 23. Mai 2011 aufzuheben und den Prozess zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Das Schiedsgericht führt in seiner Vernehmlassung aus, dass sich die Begründung der Beschwerde über weite Strecken auf die gleichen Argumente stütze, die bereits im Schiedsverfahren vorgetragen worden seien. Es verzichtete im Übrigen auf eine Stellungnahme und verwies auf die Erwägungen im angefochtenen Schiedsspruch. Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde und Bestätigung des Schiedsspruchs vom 23. Mai 2011. Am 14. September 2011 teilte die Beschwerdeführerin mit, dass sie auf Bemerkungen zur Beschwerdeantwort verzichte. Mit Präsidialverfügung vom 1. September 2011 wurde ein Gesuch der Beschwerdeführerin um Erteilung der aufschiebenden Wirkung abgewiesen. Auf Wiedererwägungsgesuch der Beschwerdeführerin hin wurde der Beschwerde jedoch mit weiterer Präsidialverfügung vom 21. September 2011 superprovisorisch die aufschiebende Wirkung gewährt. Das Schiedsgericht verzichtete auf eine Stellungnahme zu diesem Gesuch und die Beschwerdegegnerin schliesst sinngemäss auf dessen Abweisung, soweit darauf einzutreten sei. Die Beschwerdegegnerin hat dazu mit Eingabe vom 7. Oktober 2011 repliziert. 