Sachverhalt: A. A.a. A._ (Kläger, Beschwerdeführer) ist Gründungsmitglied, Hauptaktionär und Präsident des Verwaltungsrats der am 27. Juni 2007 im Handelsregister des Kantons Zug eingetragenen C._ AG. Am 12. Juni 2008 wurde B._ (Beklagter, Beschwerdegegner) als weiteres Mitglied des Verwaltungsrats der C._ AG eingetragen. A.b. Am 16. November 2009 und am 10. Dezember 2009 schlossen A._ als Darlehensnehmer und B._ als Darlehensgeber zwei Darlehensverträge über EUR 80'000.-- und EUR 135'000.-- ab. Beide Darlehen waren bis Ende März 2010 zurückzuzahlen. B._ betrieb A._ in der Folge mit Zahlungsbefehl Nr. xxx des Betreibungsamts Höfe vom 28. Mai 2010 aufgrund der beiden Darlehensverträge für eine Forderung von Fr. 311'750.-- nebst Kosten des Zahlungsbefehls. Mit Verfügung vom 8. November 2010 erteilte der Einzelrichter des Bezirks Höfe die provisorische Rechtsöffnung für eine Forderung von Fr. 276'812.50. B. B.a. Am 31. Januar 2011 erhob A._ beim Bezirksgericht Höfe Aberkennungsklage gegen B._ mit dem Antrag, es sei festzustellen, dass die Forderung von EUR 215'000.-- bzw. Fr. 276'812.50, für die provisorische Rechtsöffnung erteilt wurde, nicht bestehe. Der Kläger bestritt die Rückzahlungsverpflichtung nicht, machte jedoch geltend, die Forderung des Beklagten sei zufolge Verrechnung mit verschiedenen Gegenforderungen untergegangen. Mit Urteil vom 18. Juni 2012 hiess das Bezirksgericht Höfe die Aberkennungsklage im Umfang von Fr. 1'287.50 gut und wies die Klage im Übrigen ab. B.b. Mit Urteil vom 8. April 2014 wies das Kantonsgericht Schwyz eine vom Kläger gegen den bezirksgerichtlichen Entscheid vom 18. Juni 2012 erhobene Berufung ab und bestätigte den erstinstanzlichen Entscheid. Das Kantonsgericht erachtete die vom Kläger verrechnungsweise geltend gemachten Gegenforderungen als unbegründet. C. Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, es sei das Urteil des Kantonsgerichts Schwyz vom 8. April 2014 aufzuheben und es sei festzustellen, dass die Forderung von EUR 215'000 bzw. Fr. 276'812.50 nicht besteht. Eventualiter sei das angefochtene Urteil aufzuheben und die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdegegner beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. D. Mit Verfügung vom 4. August 2014 erteilte das Bundesgericht der Beschwerde die aufschiebende Wirkung. 