Sachverhalt: A. X._ (Ehemann) und Y._ (Ehefrau), beide Staatsangehörige von Bosnien und Herzegowina, heirateten im Jahre 1996 und haben zwei Söhne: V._, geboren 2000, und W._, geboren 2001. Durch Urteil des Grundgerichts Z._ (Bosnien und Herzegowina) vom 29. September 2004 wurde die Ehe geschieden, ohne dass die Nebenfolgen der Scheidung geregelt worden sind. Am 17. September 2004 hatte die Einzelrichterin im summarischen Verfahren des Bezirks C._ gestützt auf ein Eheschutzbegehren von Y._ vom Getrenntleben der Ehegatten Vormerk genommen, die beiden Kinder für die Dauer des Getrenntlebens unter die Obhut der Mutter gestellt und weiter unter anderem verfügt, dass für den Fall einer Nichteinigung über die Gestaltung des persönlichen Verkehrs zwischen den Kindern und X._ diesem ein Besuchsrecht an zwei Wochenenden im Monat, jeweils am ersten Weihnachtstag und abwechslungsweise an Ostern und Pfingsten sowie ein Ferienrecht von zwei Wochen während der Schulferien eingeräumt werde. B. Mit Eingabe vom 17. Februar 2005 stellte Y._ beim Gerichtspräsidium A._ das Begehren, die Eheschutzverfügung vom 17. September 2004 unter anderem insofern abzuändern, als das Besuchsrecht und das Ferienrecht bis auf weiteres zu sistieren seien; allenfalls sei ein begleitetes Besuchsrecht von einzelnen Tagen ohne Übernachtung beim Vater festzulegen, unter gleichzeitiger Errichtung einer Beistandschaft. X._ schloss auf Abweisung dieser Abänderungsanträge und verlangte, es sei für die beiden Kinder ein Beistand oder eine Beiständin zu bestellen, mit dem Auftrag, die Ausübung des durch die Eheschutzrichterin festgelegten Besuchsrechtes zu ermöglichen und zu überwachen und bei Konflikten zu vermitteln. Der Gerichtspräsident 3 von A._ erkannte am 20. April 2005 bezüglich des persönlichen Verkehrs der Kinder mit dem Vater, dass eine Erziehungsbeistandschaft im Sinne von Art. 308 ZGB errichtet werde mit dem Zweck, das in der Eheschutzverfügung vom 17. September 2004 festgelegte Besuchs- und Ferienrecht zu ermöglichen und zu überwachen und bei Konflikten zu vermitteln. Gegen dieses Urteil führten beide Parteien Beschwerde an das Obergericht des Kantons Aargau: Y._ beantragte, X._ sei bis auf weiteres berechtigt zu erklären, die Kinder während eines Tages im Monat in Anwesenheit einer Begleitperson zu besuchen, und das Ferienrecht sei bis auf weiteres zu sistieren. Die Beschwerdeanträge von X._ betrafen im Wesentlichen die (hier nicht in Frage stehenden) bezirksgerichtlichen Anordnungen zu den Unterhaltsbeiträgen. Mit Urteil vom 13. Februar 2006 erkannte das Obergericht (Zivilgericht, 5. Kammer) unter anderem, dass V._ und W._ für die Dauer des Verfahrens betreffend Ergänzung des Scheidungsurteils unter die Obhut von Y._ gestellt würden (Dispositiv-Ziffer 1.1.1a) sowie dass X._ berechtigt sei, die Söhne an einem Tag pro Monat in Begleitung zu besuchen, und zur Durchführung und Überwachung dieses Besuchsrechtes eine Erziehungsbeistandschaft im Sinne von Art. 308 Abs. 2 ZGB errichtet werde (Dispositiv-Ziffer 1.1.1b). Die Kosten des zweitinstanzlichen Verfahrens wurden zu einem Viertel Y._ und zu drei Vierteln X._ auferlegt, zufolge der den beiden gewährten unentgeltlichen Rechtspflege unter Vorbehalt der Rückforderung jedoch einstweilen auf die Gerichtskasse genommen (Dispositiv-Ziffer 2), und X._ wurde verpflichtet, dem Rechtsvertreter von Y._ die Hälfte der zweitinstanzlichen Parteikosten zu ersetzen (Dispositiv-Ziffer 3). C. X._ führt staatsrechtliche Beschwerde wegen Verletzung von Art. 9 BV und verlangt, die Dispositiv-Ziffern 1.1.1b, 2 und 3 des obergerichtlichen Urteils aufzuheben. Ausserdem sei der Beschwerde aufschiebende Wirkung zuzuerkennen und ihm für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege zu gewähren. Die Beschwerdegegnerin beantragt Abweisung des Gesuchs um aufschiebende Wirkung. Zur Sache sind keine Vernehmlassungen eingeholt worden. D. Durch Präsidialverfügung vom 10. Mai 2006 ist das Gesuch um aufschiebende Wirkung abgewiesen worden. 