Sachverhalt: A. Zwischen den getrennt lebenden Ehegatten X._ und Z._ ist vor dem Bezirksgericht Rheinfelden ein Eheschutzverfahren zur Regelung der Kinderbelange und des Ehegattenunterhalts hängig. X._ beantragte am 20. Mai 2009 die Gewährung der unentgeltlichen Rechtspflege. Die Bezirksgerichtspräsidentin wies das Gesuch mit Verfügung vom 21. September 2009 mangels Bedürftigkeit ab. B. Gegen die bezirksgerichtliche Verfügung erhob X._ kantonale Beschwerde. Mit Entscheid vom 3. Dezember 2009 wies das Obergericht des Kantons Aargau (Zivilgericht, 4. Kammer) die Beschwerde ab. C. X._ führt mit Eingabe vom 11. Januar 2010 Beschwerde in Zivilsachen bzw. subsidiäre Verfassungsbeschwerde. Der Beschwerdeführer beantragt dem Bundesgericht, der obergerichtliche Entscheid sei aufzuheben und es sei ihm für das Eheschutzverfahren sowie das kantonale Beschwerdeverfahren die unentgeltliche Rechtspflege einschliesslich Rechtsverbeiständung zu gewähren. Weiter verlangt er auch für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege. Das Obergericht und die Bezirksgerichtspräsidentin haben auf eine Vernehmlassung verzichtet. 