Sachverhalt: A. Der 1961 geborene E._ arbeitete als Hobler bei der A._ AG und war bei der Schweizerischen Unfallversicherungsanstalt (SUVA) gegen die Folgen von Unfällen versichert, als er sich am 2. Januar 2008 mit einer Trennscheibe an der linken Hand verletzte und dabei das proximale Interphalangealgelenk (Fingermittelgelenk) am Zeige- und Mittelfinger zerstörte. Die SUVA erbrachte die gesetzlichen Leistungen. Mit Verfügung vom 9. Februar 2010 sprach sie ihm eine Invalidenrente bei einem Invaliditätsgrad von 39 % und eine Integritätsentschädigung gestützt auf einen Integritätsschaden von 15 % zu. Daran hielt sie mit Einspracheentscheid vom 6. Dezember 2010 fest. B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 23. März 2011 ab. C. Mit Beschwerde lässt E._ die Aufhebung des vorinstanzlichen Entscheides und die neue Festsetzung des Anspruchs auf Versicherungsleistungen und der Integritätsentschädigung beantragen. Eventualiter sei die Sache an die Vorinstanz zur Einholung eines interdisziplinären Gutachtens zurückzuweisen. Die SUVA schliesst auf Abweisung der Beschwerde, während die Vorinstanz und das Bundesamt für Gesundheit auf eine Vernehmlassung verzichtet. 