Sachverhalt: A. X._ (geb. 1947; Ehemann) und Z._ (geb. 1950; Ehefrau) heirateten im Februar 1997. Mit Urteil vom 14. April 2008 schied das Richteramt Dorneck-Thierstein die Ehegatten auf deren gemeinsames Begehren hin, genehmigte ihre Vereinbarung über die Scheidungsfolgen und nahm diese in das Urteilsdispositiv auf (Ziff. 2 des Scheidungsurteils). In ihrer Vereinbarung über die Scheidungsfolgen verzichteten die Ehegatten gegenseitig auf nacheheliche Unterhaltsbeiträge (Ziff. 2.3 des Scheidungsurteils). In Bezug auf den Vorsorgeausgleich vereinbarten sie Folgendes (Ziff. 2.4 des Scheidungsurteils): Der Ehemann anerkennt, der Ehefrau gemäss Art. 124 Abs. 1 ZGB eine angemessene Entschädigung von Fr. 84'000.-- zu schulden. Der Ehemann bezahlt diesen Betrag in monatlichen Raten von Fr. 700.00, zahlbar jeweils monatlich im Voraus und auf die Dauer von 10 Jahren ab Rechtskraft des Scheidungsurteils. Im Übrigen verzichten beide Parteien auf weitergehende Ansprüche aus Einrichtungen der beruflichen Vorsorge. (...). Die Parteien halten ausdrücklich fest, dass die ratenweise Bezahlung der angemessenen Entschädigung gemäss Art. 141 Abs. 1 ZGB weder bei Eingehen eines Konkubinats oder Wiederverheiratung der Ehefrau noch bei deren Namensänderung wegfällt, sondern unverändert bleibt. In Ziff. 3 des Scheidungsurteils bestimmte das Richteramt weiter: Die Personalvorsorgestiftung (...) wird gerichtlich angewiesen, mit Eintritt der Rechtskraft des Scheidungsurteils während 10 Jahren vom Rentenanspruch des Ehemannes, X._, (...) jeweils monatlich Fr. 700.-- zu Gunsten der Ehefrau, Z._, (...) auf deren Bankkonto (...) zu überweisen. Am 18. April 2008 trat das Scheidungsurteil in Rechtskraft. B. B.a Im September 2010 hat X._ wieder geheiratet. Mit summarisch begründeter Klage vom 18. Januar 2011 an das Richteramt Dorneck-Thierstein verlangte er, es sei Ziff. 2.4 des Scheidungsurteils aufzuheben und die monatliche Zahlung von Fr. 700.-- an Z._ aufzuheben, eventualiter zu sistieren. Er begründete dies insbesondere damit, dass seine Ehefrau schwer erkrankt sei und er nun alleine für den Familienbedarf aufkommen müsse, weshalb mit der Zahlung gemäss Ziff. 2.4 (in Verbindung mit Ziff. 3) des Scheidungsurteils in sein familienrechtliches Existenzminimum eingegriffen werde. Zudem ersuchte er um unentgeltliche Rechtspflege und Verbeiständung. B.b Am 12. Mai 2011 fand vor dem Richteramt eine (erfolglose) Einigungsverhandlung statt. Daraufhin setzte das Richteramt X._ mit Verfügung vom gleichen Tag Frist zur Einreichung einer begründeten Klage an; gleichzeitig wies es sein Gesuch um unentgeltliche Rechtspflege und Verbeiständung mangels Bedürftigkeit ab. Eine von X._ gegen das abgewiesene Gesuch um unentgeltliche Rechtspflege und Verbeiständung gerichtete Beschwerde hiess das Obergericht des Kantons Solothurn mit Urteil vom 19. Juli 2011 gut und bejahte die Bedürftigkeit. Es wies die Angelegenheit zu neuer Entscheidung an das Richteramt zurück. B.c Mit Verfügung vom 18. August 2011 entschied das Richteramt neu und wies das Gesuch um unentgeltliche Rechtspflege und Verbeiständung erneut ab. Es begründete dies nunmehr mit der Aussichtslosigkeit der Klage. C. Dagegen erhob X._ am 26. August 2011 wiederum Beschwerde an das Obergericht und ersuchte zugleich um unentgeltliche Rechtspflege und Verbeiständung für das Beschwerdeverfahren. Mit Urteil vom 31. Oktober 2011 wies das Obergericht die Beschwerde gegen die richteramtliche Verfügung vom 18. August 2011 ab (Ziff. 1 des Dispositivs). Ebenso wies es das Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das Beschwerdeverfahren wegen Aussichtslosigkeit der Beschwerde ab (Ziff. 2 des Dispositivs). Es erhob keine Kosten und sprach keine Entschädigung zu (Ziff. 3 des Dispositivs). D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen vom 5. Dezember 2011, die Ziff. 1 und 2 des obergerichtlichen Urteils seien aufzuheben und ihm die unentgeltliche Rechtspflege und Verbeiständung für das Verfahren vor den kantonalen Instanzen zu gewähren. Eventualiter sei die Sache zu neuer Beurteilung an das Obergericht zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren. Das Obergericht hat dem Bundesgericht die Vorakten zugestellt und verlangt in seiner Vernehmlassung vom 13. Januar 2012, die Beschwerde sei abzuweisen. Das Richteramt beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei (Vernehmlassung vom 11. Januar 2012). 