Sachverhalt: A. X._ ist der Vater der Kinder Y._ (geb. 1989) und Z._ (geb. 1992). Seit der Trennung der Eltern wohnen beide Kinder bei ihrer Mutter. Am 18. Dezember 2003 wurde die Ehe der Eltern geschieden. Die damals noch minderjährigen Kinder Y._ und Z._ wurden unter die elterliche Sorge der Mutter gestellt und X._ wurde verpflichtet, an deren Unterhalt bis zum 18. Altersjahr abgestufte und indexierte Unterhaltsbeiträge zu bezahlen. X._ ist seit 9. April 2004 wieder verheiratet. Ende Sommer 2005 gab er seine Erwerbstätigkeit auf. B. B.a. Am 25. April 2011 klagten die nunmehr volljährigen Kinder Y._ und Z._ beim Kantonsgericht von Appenzell Ausserrhoden gegen X._ auf Zahlung von Unterhalt. Mit Urteil vom 14. März 2012 gab die angerufene Instanz der Klage statt. B.b. In teilweiser Gutheissung seiner Berufung verpflichtete der Einzelrichter des Obergerichts Appenzell Ausserrhoden mit Entscheid vom 8. Juli 2013 X._ dazu, an den Unterhalt von Z._ monatlich und monatlich im Voraus bis zum ordentlichen Abschluss einer angemessenen Erstausbildung vom 1. März 2010 bis 12. August 2012 Fr. 700.-- (vom 13. August 2012 bis 30. August 2013 Fr. 0.--) und ab 1. September 2013 Fr. 700.-- zu bezahlen (1). Im weiteren verpflichtete das Gericht X._ in teilweiser Gutheissung der Berufung, an den Unterhalt von Y._ monatlich und monatlich im Voraus bis zum ordentlichen Abschluss einer angemessenen Erstausbildung vom 5. Januar 2010 bis 31. Dezember 2011 Fr. 600.--, vom 1. Januar 2012 bis 31. Januar 2013 Fr. 350.-- und ab dem 1. Januar 2013 (recte wohl 1. Februar 2013) Fr. 450.-- zu bezahlen (2). Sodann regelte der Einzelrichter die Indexierung der Beiträge (3), bestätigte die erstinstanzliche Verlegung der Kosten und der Parteientschädigung (4) und auferlegte die Kosten des Berufungsverfahrens von Fr. 2'000.-- X._ unter Anrechnung des geleisteten Kostenvorschusses von Fr. 1'500.-- (5). C. X._ (Beschwerdeführer) hat am 6. September 2013 (Postaufgabe) gegen den vorgenannten Entscheid beim Bundesgericht Beschwerde erhoben. Er beantragt, die Ziffern 1 bis und mit 5 des angefochtenen Entscheids aufzuheben und die Klage abzuweisen. Eventuell sei die Sache zu neuem Entscheid (Festlegung der Übergangsfrist) an die Vorinstanz zurückzuweisen. In der Sache sind keine Vernehmlassungen eingeholt worden. D. Mit Präsidialverfügung vom 3. Oktober 2013 wurde dem Gesuch des Beschwerdeführers um aufschiebende Wirkung nach Anhörung der Betroffenen teilweise entsprochen und der Beschwerde für die bis und mit September 2013 (Monat der Beschwerdeeinreichung) geschuldeten Unterhaltsbeiträge aufschiebende Wirkung zuerkannt. 