Sachverhalt: A. X._ (geb. 1970) und Y._ (geb. 1969) heirateten im April 2002. Sie haben die gemeinsame Tochter A._ (geb. 2003). Das Getrenntleben begann nach ungefähr zwei Ehejahren. B. Auf Klage des Ehemannes hin schied das Bezirksgericht B._ die Ehe mit Urteil vom 24. Oktober 2007 und stellte die Tochter unter die elterliche Sorge der Mutter. In finanzieller Hinsicht verpflichtete es den Ehemann zu Kindesunterhalt von Fr. 800.-- (zzgl. Kinderzulagen) sowie zu nachehelichem Unterhalt von Fr. 1'685.-- bis April 2013 und von Fr. 935.-- bis April 2019. Auf Berufung des Ehemannes hin setzte das Kantonsgericht Schwyz den nachehelichen Unterhalt mit Urteil vom 23. September 2008 auf Fr. 1'650.-- bis April 2013 und auf Fr. 350.-- bis April 2018 fest. C. Gegen dieses Urteil hat der Ehemann am 5. Januar 2009 eine Beschwerde in Zivilsachen eingereicht, im Wesentlichen mit den Begehren um Festsetzung des nachehelichen Unterhalts auf Fr. 1'055.-- pro Monat (zuzüglich der Hälfte der jährlichen Gratifikation) bis zum Eintritt von A._ in die 1. Primarklasse und auf Fr. 350.-- pro Monat (zuzüglich der Hälfte der jährlichen Gratifikation) bis zum Eintritt von A._ in die 1. Oberstufe sowie um Aufhebung der Kostenziffern, unter hälftiger Teilung der erstinstanzlichen Kosten und Auferlegung der zweitinstanzlichen Kosten an die Ehefrau. Er verlangt in diesem Zusammenhang insbesondere auch die Feststellung, dass der Ehefrau per sofort eine Erwerbsarbeit von 20% bzw. ein Erwerbseinkommen von Fr. 900.-- zumutbar sei. Das Kantonsgericht verlangt in seiner Vernehmlassung vom 16. Februar 2009 die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Ehefrau hat in ihrer Vernehmlassung vom 10. März 2009 auf Abweisung der Beschwerde geschlossen. Beide Parteien verlangen die unentgeltliche Rechtspflege. 