Sachverhalt: A. X._ und Y._ haben am 4. Mai 2012 geheiratet. Sie sind Eltern der Söhne A._ (geb. 2012) und B._ (geb. 2013). B. Am 3. April 2013 stellte Y._ beim Richteramt Olten-Gösgen ein Eheschutzgesuch. Mit Urteil vom 17. Oktober 2013 hob die Amtsgerichtspräsidentin den gemeinsamen Haushalt für unbestimmte Zeit auf. Sie stellte fest, dass der Ehemann die gemeinsame Wohnung per 1. April 2013 verlassen hat und regelte das Getrenntleben. Soweit vor Bundesgericht noch relevant, bestimmte sie Kinderunterhaltsbeiträge an A._ von Fr. 750.-- von 1. April 2013 bis 4. Juli 2013 sowie an A._ und B._ ab 5. Juli 2013 von je Fr. 600.--, zuzüglich allfälliger Kinderzulagen. Zudem verurteilte sie X._, seiner Ehefrau rückwirkend ab 1. April 2013 einen monatlichen Unterhaltsbeitrag von Fr. 830.-- und ab 5. Juli 2013 von Fr. 380.-- zu bezahlen. C. Gegen den Entscheid des Richteramts Olten-Gösgen legte X._ mit Eingabe vom 31. Oktober 2013 Berufung beim Obergericht des Kantons Solothurn ein. Er beantragte insbesondere, von der Zusprechung von Unterhaltsbeiträgen abzusehen. Mit Urteil vom 14. Januar 2014 wies das Obergericht die Berufung ab. D. Mit Beschwerde in Zivilsachen vom 17. Februar 2014 gelangt X._ (Beschwerdeführer) an das Bundesgericht. Er erneuert seinen vor Obergericht gestellten Antrag auf Abweisung der Unterhaltsbegehren und ersucht für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege. Das Bundesgericht hat die kantonalen Akten beigezogen, aber keine Vernehmlassungen eingeholt. 