Sachverhalt: A. A.a. Am 4. Mai 2004 schloss die Bank B._ (Klägerin, Beschwerdegegnerin) mit der C._ AG mit Sitz in Glarus (vormals St. Gallen) einen Kreditvertrag ab. Demnach gewährte die Bank der Kreditnehmerin einen Rahmenkredit über Fr. 2.4 Mio.; der Betrag wurde der C._ AG in der Folge ausbezahlt. Am 21. Dezember 2005 schlossen die Parteien zudem einen Rahmenkreditvertrag über Fr. 20 Mio. ab. Mit Schreiben vom 9. Januar 2009 kündigte die Bank B._ den Rahmenkreditvertrag und verlangte unter anderem die sofortige Rückzahlung der Kapitalschuld von Fr. 2.4 Mio. nebst Zins. A.b. Mit Urteil vom 9. November 2010 (Verfahren 5A_372/2010) hob das Bundesgericht einen Entscheid des Kantonsgerichts St. Gallen vom 12. April 2010 auf, mit dem der Bank B._ für den Betrag von Fr. 2.4 Mio. die provisorische Rechtsöffnung erteilt worden war, und wies das Rechtsöffnungsbegehren ab. Die Gerichtskosten für das Beschwerdeverfahren auferlegte das Bundesgericht der Bank B._, die überdies verpflichtet wurde, die C._ AG mit Fr. 20'000.-- zu entschädigen. Die Verlegung der kantonalen Verfahrenskosten übertrug das Bundesgericht dem Kantonsgericht St. Gallen, das in der Folge die Bank B._ verpflichtete, der C._ AG eine Parteientschädigung von Fr. 11'297.55 zu bezahlen. A.c. Am 23. Dezember 2010 trat die C._ AG die Parteientschädigungen des kantonalen Rechtsöffnungsverfahrens von Fr. 11'297.55 und des bundesgerichtlichen Beschwerdeverfahrens von Fr. 20'000.-- ihrem Rechtsvertreter A._ (Beklagter, Beschwerdeführer) ab. A.d. Rechtsanwalt A._ betrieb die Bank B._ daraufhin mit Zahlungsbefehlen vom 11. Januar 2011 für Fr. 20'000.-- und Fr. 11'297.55 nebst Zins; diese erhob Rechtsvorschlag und berief sich im nachfolgenden Rechtsöffnungsverfahren erfolglos auf die Verrechnungseinrede. Das Kantonsgericht Glarus erteilte A._ am 4. Mai 2011 in beiden Verfahren die Rechtsöffnung. Die Bank B._ überwies in der Folge den gesamten Betrag (inkl. Fr. 517.-- Zins), nachdem sie allerdings mit Schreiben vom 17. Mai 2011 mitgeteilt hatte, dass sie den geltend gemachten Forderungen nach wie vor die Verrechnungseinrede entgegenhalte. Am 23. Januar 2013 wurde über die C._ AG der Konkurs eröffnet. B. B.a. Nachdem die Bank B._ ihrerseits A._ über den Betrag von Fr. 31'814.55 nebst Zins und Kosten des Zahlungsbefehls betrieben und dieser Rechtsvorschlag erhoben hatte, klagte sie am 26. September 2012 beim Kantonsgericht Glarus auf Rückforderung der bezahlten Parteientschädigungen nach Art. 86 SchKG sowie auf Beseitigung des Rechtsvorschlags. Mit Urteil vom 26. Juni 2013 verpflichtete das Kantonsgericht Glarus den Beklagten zur Zahlung von Fr. 31'814.55 nebst Zins zu 5 % seit 16. Mai 2012. Zudem beseitigte es den Rechtsvorschlag in der eingeleiteten Betreibung. B.b. Eine vom Beklagten gegen den kantonsgerichtlichen Entscheid vom 26. Juni 2013 erhobene Berufung wies das Obergericht des Kantons Glarus mit Urteil vom 24. Januar 2014 ab. C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, es sei das Urteil des Obergerichts des Kantons Glarus vom 24. Januar 2014 aufzuheben und es sei die Klage abzuweisen. Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. 