Sachverhalt: A. A._ (Vater) und B._ (Mutter) sind die Eltern der Kinder C._ (geb. 1995) und D._ (geb. 1998). Mit Scheidungsurteil vom 10. November 1999 wurden die Kinder unter die elterliche Sorge der Mutter gestellt. B. B.a. Mit Schreiben vom 24. Januar 2010 gelangte der Vater an die Vormundschaftsbehörde Gommiswald-Ernetschwil-Rieden. Er beklagte sich über das nicht oder nur sehr schlecht funktionierende Besuchsrecht und äusserte den Wunsch, dass das Amt die Angelegenheit an die Hand nehme, damit die Besuche mit seinen Kindern wieder stattfänden. Nachdem die ganze Familie angehört worden war, entschied die Vormundschaftsbehörde am 6. Dezember 2010, dass keine weiteren Bemühungen zur Kontaktaufnahme zwischen Vater und Kindern in die Wege geleitet würden und auf die Anordnung vormundschaftlicher Massnahmen verzichtet werde. In Bezug auf das Auskunftsrecht wies sie den Vater darauf hin, dass er gemäss Art. 275a Abs. 2 ZGB das Recht habe, bei Drittpersonen (Lehrern/Ärzten usw.) Auskünfte über den Zustand und die Entwicklung der Kinder einzuholen, und zwar in gleicher Weise wie die Inhaberin der elterlichen Sorge. B.b. Gegen diesen Beschluss der Vormundschaftsbehörde erhob der Vater am 17. Dezember 2010 Beschwerde beim Departement des Innern des Kantons St. Gallen, welches die Beschwerde mit Entscheid vom 8. August 2011 abwies. B.c. Der Vater zog den Entscheid des Departements mit Berufung an das Kantonsgericht St. Gallen weiter. Das Kantonsgericht hob den angefochtenen Entscheid am 7. Januar 2012 wegen Verletzung des rechtlichen Gehörs auf und wies die Angelegenheit in Bezug auf das Informations- und Auskunftsrecht zur neuen Beurteilung an das Departement zurück. B.d. Das Departement übermittelte am 20. März 2012 das Begehren des Vaters um Information und Auskunft nach Art. 275a ZGB an die Vormundschaftsbehörde See-Linth mit dem Auftrag Abklärungen zu treffen, weshalb der Informations- und Auskunftsanspruch des Vaters bis anhin scheinbar nicht habe umgesetzt werden können. B.e. Am 8. August 2012 verfügte die Vormundschaftsbehörde nach Anhörung der Parteien, dass auf ergänzende Anordnungen zum Recht auf Information und Auskunft betreffend C._ und D._ verzichtet werde. Sie begründete ihren Beschluss im Wesentlichen damit, dass die Mutter den Vater zukünftig über wesentliche Belange der Kinder, insbesondere über Schule/Ausbildung und grössere medizinische Eingriffe, unaufgefordert informieren werde. Mit dem ihm am 4. Mai 2012 ausgestellten Legitimationspapier könne sich der Vater die notwendigen Informationen bei den betreuenden Drittpersonen selber beschaffen. Zusätzliche Massnahmen zur Durchsetzung der Minimalinformation zu medizinischen Eingriffen, gesundheitlichen, schulischen und ausbildungsmässigen Ereignissen seien daher ungeeignet. B.f. Gegen diese Verfügung erhob der Vater mit Eingabe vom 27. August 2012 Beschwerde beim Departement. Er beantragte, die Verfügung der Vormundschaftsbehörde sei aufzuheben und diese sei anzuweisen, kindsbezogene Informationen im Sinne seiner Ausführungen sicherzustellen; unter Kosten- und Entschädigungsfolge. B.g. Mit Inkrafttreten des neuen Kindes- und Erwachsenenschutzrechts am 1. Januar 2013 wurde das Verfahren zuständigkeitshalber vom Departement an die Verwaltungsrekurskommission überwiesen. Diese wies am 11. Juli 2013 die Beschwerde des Vaters ab, soweit es auf diese eintrat. Entsprechend wurden die amtlichen Kosten dem Vater auferlegt. C. C.a. Gegen den Entscheid der Verwaltungsrekurskommission reichte der Vater am 9. August 2013 beim Kantonsgericht St. Gallen Beschwerde ein. Er beantragte einerseits die Richtigstellung der Fakten im obengenannten Entscheid und andererseits die Sicherstellung der kindsbezogenen Informationen und damit die Aufhebung des Entscheids der Verwaltungsrekurskommission vom 11. Juli 2013. C.b. Die Mutter äusserte sich unter Verweisung auf ihr Schreiben vom 16. März 2013 nicht zur Beschwerde des Vaters. Danach habe sie sich entschieden, auf Briefe des Vaters oder seines Rechtsanwalts nicht mehr zu antworten. C.c. Das Kantonsgericht hiess die Beschwerde des Vaters am 11. März 2014 insofern gut, als es Ziffer 1 des Entscheids der Verwaltungsrekurskommission aufhob und die Mutter ausdrücklich verpflichtete, den Vater über besondere Ereignisse im Leben von D._ zu informieren, namentlich im Zusammenhang mit der Schule, der Berufswahl, medizinischen Ereignissen und speziellen Veranstaltungen. Dabei ermahnte es den Vater jedoch im Sinne der Erwägungen, alles zu unterlassen, was die Erziehungsaufgabe der Mutter erschwere. Im Übrigen wies es die Beschwerde ab, soweit auf sie einzutreten war. Das Kantonsgericht auferlegte die Entscheidgebühr von Fr. 2'000.-- zu drei Vierteln dem Vater und zu einem Viertel der Mutter. D. Der Vater (Beschwerdeführer) gelangt mit Beschwerde in Zivilsachen vom 11. April 2014 an das Bundesgericht. Er beantragt, den Kostenentscheid des Kantonsgerichts aufzuheben. Die Entscheidgebühr von Fr. 2'000.-- sei zu drei Vierteln auf die Staatskasse zu nehmen und zu einem Viertel von der Mutter (Beschwerdegegnerin) zu bezahlen. Eventualiter sei die Entscheidgebühr von Fr. 2'000.-- der Beschwerdegegnerin aufzuerlegen. Subeventualiter sei die Sache zu neuer Entscheidung an das Kantonsgericht zurückzuweisen. Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt. 