Sachverhalt: A. Am 24. Januar 2014 erhob die Staatsanwaltschaft Innerschwyz beim Einzelrichter am Bezirksgericht Schwyz Anklage gegen A._ wegen mehrfacher vorsätzlicher Verkehrsregelverletzung im Sinne von aArt. 90 Ziff. 1 SVG durch Rückwärtsfahren auf der Autobahn (a), wegen Benützung der Nationalstrasse ohne gültige Vignette (b), sowie wegen vorsätzlicher Vornahme von Verrichtungen während der Fahrt, die das sichere Bedienen des Fahrzeugs erschweren (c). In der Anklage wies die Staatsanwaltschaft auf die bevorstehende Verjährung am 14. März 2014 hin. A._ ist der Vater der Präsidentin des Bezirksgerichts Schwyz. Am 28. Januar 2014 setzte der mit dem Fall betraute Einzelrichter Peter Linggi den Parteien Frist bis am 12. Februar 2014, um Beweisanträge zu stellen. Am 6. Februar 2014 Iud er die Parteien zur Hauptverhandlung auf den 7. März 2014 vor. B. Am 28. Januar 2014 ersuchte die Präsidentin des Bezirksgerichts Schwyz das Kantonsgericht, das vorliegende Strafverfahren dem Bezirksgericht Schwyz abzunehmen und einem Einzelrichter eines anderen Gerichts zu überweisen. Zur Begründung führte sie im Wesentlichen aus, dass sie selber als Einzelrichterin in den Ausstand treten müsse und dass es dem Vizegerichtspräsidenten Peter Linggi in seiner Funktion als Einzelrichter zu ersparen sei, über den Vater seiner Vorgesetzten zu richten. Zudem sei gegenüber der Öffentlichkeit der Anschein der Befangenheit zu vermeiden. Mit Beschluss vom 3. Februar 2014 wies das Präsidium des Kantonsgerichts Schwyz dieses Gesuch ab. Mit Eingabe vom 7. Februar 2014 stellte A._ ein Ausstandsbegehren gegenüber Einzelrichter Peter Linggi. Mit Beschluss vom 20. Februar 2014 wies das Kantonsgericht das Ausstandsgesuch ab, soweit es darauf eintrat. C. Mit Beschwerde in Strafsachen an das Bundesgericht vom 24. März 2014 beantragt A._ die Aufhebung des Beschlusses des Kantonsgerichts vom 20. Februar 2014. Das Verfahren sei Einzelrichter Peter Linggi wegen (Anscheins der) Befangenheit rückwirkend zu entziehen und gestützt auf Art. 56 / 58 StPO einem nicht dem Bezirksgericht Schwyz angehörenden, unparteiischen, unvoreingenommenen und unbefangenen Einzelrichter eines anderen, auch in der Öffentlichkeit nicht den Anschein von Befangenheit weckenden Bezirksgerichts des Kantons Schwyz zu übertragen. Dafür sowie für die neue Entscheidung über die Kosten- und Entschädigungsfolgen im kantonalen Ausstandsverfahren sei die Sache an die Vorinstanz zurückzuweisen. Die Vorinstanz beantragt die Beschwerdeabweisung. Die Oberstaatsanwaltschaft des Kantons Schwyz und Peter Linggi verzichten auf Vernehmlassungen. Der Beschwerdeführer hält in einer weiteren Eingabe an seinem Standpunkt und an seinen Anträgen fest. 