Sachverhalt: A. Z._ und X._ heirateten am xxxx 1992 in Portugal. Dieser Ehe entsprossen die drei Kinder R._ (1997), S._ (1999) und T._ (1999). Mit Urteil vom 1. Oktober 2009 schied das Gerichtspräsidium Lenzburg die Ehe der Parteien, stellte die drei Kinder unter die elterliche Sorge von Z._, regelte den Unterhalt zugunsten der Kinder und die Indexierung deren Unterhaltsbeitrages sowie den persönlichen Umgang von X._ mit seinen Kindern. Im Weiteren wies das Gerichtspräsidium das Begehren von Z._ auf Ausrichtung eines persönlichen Unterhaltsbeitrages ab. Die erste Instanz ging von einem monatlichen Einkommen von X._ aus unselbstständiger Erwerbstätigkeit von Fr. 6'500.-- und von Fr. 4'448.00 (inkl. Kinderzulagen; inkl. Anteil 13. Monatslohn) für Z._ aus. Ferner wurden Schulden von X._ von Fr. 90'000.-- aufgeführt (Dispositiv-Ziffern 7 und 9). B. In teilweiser Gutheissung der Appellation von Z._ hob das Obergericht des Kantons Aargau mit Urteil vom 25. Januar 2011 die hier relevanten Ziffern 7 und 9 des erstinstanzlichen Urteils auf und verpflichtete seinerseits Z._ einen monatlich vorschüssigen Unterhaltsbeitrag von Fr. 700.-- ab Eintritt der Rechtskraft des obergerichtlichen Urteils bis und mit August 2015 zu bezahlen (neue Ziff. 7.1). Ferner wurde festgestellt, dass der gebührende Unterhalt von Z._ im Umfang von Fr. 350.-- nicht gedeckt sei (neue Ziff. 7.2). Das Obergericht ging dabei von einem Einkommen des X._ von Fr. 6'500.-- aus, bezifferte dasjenige der Z._ aber abweichend von der ersten Instanz auf Fr. 1'830.-- pro Monat (neue Ziff. 9). C. X._ hat gegen das ihm am 3. Februar 2011 zugestellte Urteil des Obergerichts am 7. März 2011 (Postaufgabe) beim Bundesgericht Beschwerde in Zivilsachen erhoben. Er stellt den materiellen Antrag, die Ziffern 7 und 9 des bezirksgerichtlichen Urteils seien nicht abzuändern; eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Für das bundesgerichtliche Verfahren ersucht er um unentgeltliche Rechtspflege. D. Die Beschwerdegegnerin schliesst auf Abweisung des Gesuchs des Beschwerdeführers um aufschiebende Wirkung und beantragt ihrerseits die unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren. In der Sache sind keine Vernehmlassungen eingeholt worden. E. Mit Präsidialverfügung vom 30. März 2011 wurde der Beschwerde für die bis und mit Februar 2011 geschuldeten persönlichen Unterhaltsbeiträge aufschiebende Wirkung zuerkannt. 