Sachverhalt: A. A.a Im Zusammenhang mit dem Neubau seiner Liegenschaft hatte A._ (Kläger, Beschwerdeführer) in den Jahren 1983/84 bei der Firma X._ AG (Beklagte, Beschwerdegegnerin) "Y._ Storen" bestellt. In den Jahren 1986/87 und 1992 wurden jeweils auf Bestellung von A._ einzelne beschädigte Storen durch entsprechende neue Storen ersetzt. A.b Nach einem Hagelschaden hat A._ am 1. Juli 2008 bei der Firma X._ AG eine Bestellung aufgegeben, um die beschädigten Storen an der Ost- und Südfassade seiner Liegenschaft durch neue "Y._ Storen" zu ersetzen, unter Belassung der unbeschädigten Storen. Aufgrund eines Rabattes von 21 % hat sich A._ gleichentags entschlossen, eine zweite Bestellung für die Nord- und Westfassade aufzugeben, um sämtliche Storen am Gebäude einheitlich durch neue Storen zu ersetzen. Der vereinbarte Werkpreis von Fr. 47'876.65 für die Ost- und Südfassade und von Fr. 21'800.40 für die Nord- und Westfassade umfasste die Herstellung, Lieferung und Montage der neuen sowie die Demontage und Entsorgung der alten Storen. A.c Die Storen wurden am 8. August 2008 geliefert und bei A._ in der Garage zur vorübergehenden Lagerung eingestellt. Am 11. August 2008, dem vorgesehenen Montagebeginn, wurde zunächst nur ein neuer Storen provisorisch montiert und wieder demontiert, da die gelieferten Storen angeblich nicht mit den vorbestehenden alten Storen übereinstimmten. Am 13. August 2008 wurde sodann ein neuer Storen zur Anschauung der Veränderung gegenüber den alten Storen montiert und am Gebäude gelassen. Die X._ AG stellte am 15. August 2008 für die Storen Rechnung und setzte in der Folge einen Betrag von Fr. 38'492.35 in Betreibung, wogegen A._ Rechtsvorschlag erhoben hat. B. B.a Daraufhin reichte A._ beim Handelsgericht des Kantons Zürich eine Forderungsklage gegen die X._ AG ein, mit dem im Laufe des Verfahrens abgeänderten Begehren, die X._ AG sei zu verpflichten, ihm einen Betrag von Fr. 28'316.55 zuzüglich Zins zu 5 % seit dem 7. Oktober 2008 für die geleistete Storen-Anzahlung sowie Fr. 17'003.05 zuzüglich Zins zu 5 % seit dem 15. Oktober 2009 (mittlerer Verfall) für die Lager-, Reparatur- und vorprozessualen Anwaltskosten zu bezahlen. Dagegen erhob die X._ AG Widerklage mit dem Begehren, A._ sei zu verpflichten ihr Fr. 38'492.35 zuzüglich Zins zu 5 % seit dem 22. September 2008 zu bezahlen und es sei der Rechtsvorschlag in der Betreibung Nr. zzz._ des Betreibungsamtes Thalwil zu beseitigen. B.b Mit Beschluss vom 2. September 2011 schrieb das Handelsgericht des Kantons Zürich das Verfahren im Umfang von Fr. 2'883.45 als durch teilweise Anerkennung der Widerklage erledigt ab. Mit Urteil vom gleichen Tag wies es die Klage ab und verpflichtete den Kläger in teilweiser Gutheissung der Widerklage, der Beklagten einen Betrag von Fr. 35'593.60 nebst Zins zu 5 % auf Fr. 38'477.05 seit dem 3. Oktober 2008 zu bezahlen; im Übrigen wies es die Widerklage ab. Im Weiteren beseitigte es den Rechtsvorschlag gegen den Zahlungsbefehl Nr. zzz._ des Betreibungsamtes Thalwil vom 26. September 2008 im Umfang von Fr. 38'477.05 nebst Zins zu 5 % seit dem 3. Oktober 2008. C. Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, das Urteil des Handelsgerichts des Kantons Zürich vom 2. September 2011 aufzuheben, die Widerklage abzuweisen und in Gutheissung der Klage die Beklagte zu verpflichten, ihm Fr. 28'316.55 zuzüglich 5 % Zins ab dem 7. Oktober 2008 sowie einen Betrag von Fr. 17'003.05 zuzüglich 5 % Zins ab dem 15. Oktober 2009 zu bezahlen. Eventualiter sei das Urteil des Handelsgerichts aufzuheben und die Streitsache zur weiteren Abklärung des Sachverhaltes an die Vorinstanz zurückzuweisen. Die Beklagte beantragt die Abweisung der Beschwerde; die Vorinstanz hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat dem Bundesgericht unaufgefordert eine Replik, die Beschwerdegegnerin eine Duplik eingereicht. D. Mit Präsidialverfügung vom 23. November 2011 wies das Bundesgericht das Gesuch um Erteilung der aufschiebenden Wirkung ab. 