Sachverhalt: A. A._ (geb. 1981) stammt aus Serbien. Er reiste im Februar 1993 im Familiennachzug in die Schweiz ein und verfügt über eine Niederlassungsbewilligung. 1998 begann er eine Anlehre als Metallbauschlosser. Im gleichen Jahr erlitt er einen Arbeitsunfall (Sturz von einem Dach aus ca. 6 Metern Höhe), der zu einem schweren Schädel-Hirntrauma, zu Kontusionen im Gesichtsbereich, zu einem Bauchtrauma mit Leber- und Nierenkontusion sowie zahlreichen Frakturen führte. Anlässlich einer Untersuchung im Jahr 1999 wurde bei A._ eine leichte bis mittelschwere neuropsychologische Störung infolge der Hirnverletzung festgestellt. Im Jahr 1999 konnte er seine Arbeit wieder aufnehmen und eine Metallbauschlosserlehre im Jahr 2000 abschliessen. Am 28. April 2004 verlor A._ infolge Sekundenschlafs die Herrschaft über den von ihm gelenkten Lieferwagen. Wegen des Vorfalls, der Sachschäden am Fahrzeug und den Leitplanken zur Folge hatte, verurteilte ihn das Bezirksamt Schwyz am 11. April 2005 der groben Verletzung von Verkehrsregeln zu einer Busse von Fr. 1'000.--. Mit Strafbefehl vom 29. August 2005 sprach das Untersuchungsamt Uznach A._ des Fahrens in nicht fahrfähigem Zustand (Drogeneinfluss) sowie der Übertretung des Betäubungsmittelgesetzes für schuldig und verurteilte ihn zu einer bedingten Gefängnisstrafe von zwei Wochen und einer Busse von Fr. 1'000.--. Am 6. Dezember 2005 verwarnte die Fremdenpolizei A._. Mit Urteil vom 15. März 2012 verurteilte das Kriminalgericht des Kantons Luzern A._ der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz (Besitz und Konsum von Kokain, Amphetamine, Cannabis und Ecstasy), teils begangen als schwerer Fall (Verarbeiten einer diesbezüglich relevanten Menge von Kokain), zu einer bedingten Freiheitsstrafe von 15 Monaten und einer Busse von Fr. 500.-- bei einer Probezeit von 3 Jahren. B. Mit Verfügung vom 20. November 2012 widerrief das kantonale Migrationsamt die Niederlassungsbewilligung von A._. Ein hiergegen gerichtetes Rechtsmittel an den Regierungsrat des Kantons Schwyz lehnte dieser am 20. März 2013 ab. Die gegen diesen Entscheid gerichtete Beschwerde an das Verwaltungsgericht wies dieses am 25. September 2013 ab. C. Mit Eingabe vom 4. November 2013 beantragt A._ dem Bundesgericht, das Urteil des Verwaltungsgerichts vom 25. September 2013 aufzuheben. Ihm sei die Niederlassungsbewilligung zu belassen. Eventualiter sei die Sache zur weiteren Sachverhaltsabklärung an die Vorinstanz zurückzuweisen. Das Amt für Migration des Kantons Schwyz verzichtet darauf, sich vernehmen zu lassen. Das Verwaltungsgericht und der Regierungsrat des Kantons Schwyz sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Mit Verfügung vom 12. November 2013 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt. 