Sachverhalt: A. Am 4. November 1999 schlossen AX._ als Besteller und BY._ als Unternehmer einen schriftlichen Werkvertrag über Aushub- und Umgebungsarbeiten für die erste von vier Etappen der Überbauung C._ in D._. Hernach wurde mündlich vereinbart, dass auch die nächsten drei Etappen zu denselben Konditionen ausgeführt werden sollten. Der zweite, mündlich abgeschlossene Werkvertrag bezog sich auf die Umgebungsarbeiten. Das Vertragsverhältnis ging nach dem Tod von BY._ auf Unternehmerseite auf die Y._ AG (Beschwerdegegnerin) und auf Bestellerseite auf die X._ AG (Beschwerdeführerin) über. B. Die Rechnungstellung verzögerte sich. Gestützt auf die Ausmasse, wie sie von einem von ihr beigezogenen Bauberater ermittelt wurden, unterbreitete die Beschwerdegegnerin der Beschwerdeführerin am 29. Juni 2005 die Schlussrechnung. Darin verlangte sie für die Arbeitsgattung Aushub Fr. 62'963.40 und für Umgebungsarbeiten insgesamt Fr. 427'197.10. Die Beschwerdeführerin leistete in der Folge Zahlungen an die Beschwerdegegnerin. Nach deren Auffassung verblieb ein offener Saldo von Fr. 94'399.05, den die Beschwerdegegnerin am 14. März 2007 beim Handelsgericht des Kantons Aargau nebst Zins einklagte. C. Die Beschwerdeführerin vertrat den Standpunkt, in der Schlussabrechnung seien diverse Positionen zu Unrecht eingesetzt worden, die zu entsprechenden Abzügen führen müssten. Aus der Summe der Abzüge betereffend die Posten "Aushub" und "Umgebung" resultiere unter Berücksichtigung der geleisteten Zahlungen ein Saldo zu Gunsten der Beschwerdeführerin von Fr. 185'628.85. Diesen Betrag nebst Zins machte die Beschwerdeführerin widerklageweise geltend. D. Am 3. Juni 2009 hiess das Handelsgericht die Klage teilweise gut und verpflichtete die Beschwerdeführerin, der Beschwerdegegnerin Fr. 80'753.20 nebst Zins zu bezahlen. Im Mehrumfang wies es die Klage ab. Die Widerklage wurde vollumfänglich abgewiesen. E. Die Beschwerdeführerin beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das angefochtene Urteil aufzuheben und die Beschwerdegegnerin zu verpflichten, ihr Fr. 66'132.-- nebst Zins zu bezahlen. Eventuell sei die Sache zur Feststellung des Sachverhalts und zur Neubeurteilung an das Handelsgericht zurückzuweisen. Der Beschwerde wurde mangels Opposition der Gegenpartei aufschiebende Wirkung erteilt. Die Beschwerdegegnerin wie auch das Handelsgericht schliessen auf Abweisung der Beschwerde. 