Sachverhalt: Sachverhalt: A. R._, geboren 1954, erlitt am 14. Dezember 2001 einen Arbeitsunfall, bei dem er sich den linken Unterschenkel brach. Gemäss Bericht des Dr. med. H._, Orthopädische Chirurgie FMH, vom 23. Oktober 2002 befand sich R._ zehn Monate später und nach zwei Operationen aus klinischer und radiologischer Sicht in gutem Zustand. Die arterielle Zirkulation war einwandfrei und es bestanden keine neurologischen Ausfälle. Der Orthopäde empfahl, die inzwischen wieder aufgenommene Arbeit bis Ende 2002 zu 50 % auszuüben und dann allmählich auf das volle Pensum zu steigern. Gestützt darauf und nach einer weiteren (vierten) Untersuchung durch ihren Kreisarzt Dr. med. X._ am 10. Februar 2003 setzte die Schweizerische Unfallversicherungsanstalt (SUVA) die Arbeitsunfähigkeit vom 11. Februar bis 15. März 2003 auf 40 %, vom 16. März bis 6. April 2003 auf 20 % und ab 7. April 2003 auf 0 % fest und bestätigte diese Verfügung vom 11. Februar 2003 mit Einspracheentscheid vom 14. Mai 2003. A. R._, geboren 1954, erlitt am 14. Dezember 2001 einen Arbeitsunfall, bei dem er sich den linken Unterschenkel brach. Gemäss Bericht des Dr. med. H._, Orthopädische Chirurgie FMH, vom 23. Oktober 2002 befand sich R._ zehn Monate später und nach zwei Operationen aus klinischer und radiologischer Sicht in gutem Zustand. Die arterielle Zirkulation war einwandfrei und es bestanden keine neurologischen Ausfälle. Der Orthopäde empfahl, die inzwischen wieder aufgenommene Arbeit bis Ende 2002 zu 50 % auszuüben und dann allmählich auf das volle Pensum zu steigern. Gestützt darauf und nach einer weiteren (vierten) Untersuchung durch ihren Kreisarzt Dr. med. X._ am 10. Februar 2003 setzte die Schweizerische Unfallversicherungsanstalt (SUVA) die Arbeitsunfähigkeit vom 11. Februar bis 15. März 2003 auf 40 %, vom 16. März bis 6. April 2003 auf 20 % und ab 7. April 2003 auf 0 % fest und bestätigte diese Verfügung vom 11. Februar 2003 mit Einspracheentscheid vom 14. Mai 2003. B. Mit Beschwerde liess R._ geltend machen, er könne nach wie vor wegen Schmerzen, Schwellungen des Beines und weil er auf Stöcke angewiesen sei, nur zu 35 % arbeiten. Untersuchungen bei Dr. med. H._ hätten gezeigt, dass die Beschwerden nicht geheilt und weitere Abklärungen nötig seien. Schon in seiner Einsprache an die SUVA habe er um eingehende Überprüfung der Arbeitsfähigkeit ersucht. Er beantragte die Aufhebung des angefochtenen Entscheides und die Zusprechung der eingestellten Versicherungsleistungen im Rahmen einer mindestens 50 %igen Arbeitsunfähigkeit, eventualiter die Rückweisung an die SUVA zu ergänzenden Abklärungen. Das Verwaltungsgericht des Kantons Schwyz wies die Beschwerde mit Entscheid vom 25. November 2003 ab. B. Mit Beschwerde liess R._ geltend machen, er könne nach wie vor wegen Schmerzen, Schwellungen des Beines und weil er auf Stöcke angewiesen sei, nur zu 35 % arbeiten. Untersuchungen bei Dr. med. H._ hätten gezeigt, dass die Beschwerden nicht geheilt und weitere Abklärungen nötig seien. Schon in seiner Einsprache an die SUVA habe er um eingehende Überprüfung der Arbeitsfähigkeit ersucht. Er beantragte die Aufhebung des angefochtenen Entscheides und die Zusprechung der eingestellten Versicherungsleistungen im Rahmen einer mindestens 50 %igen Arbeitsunfähigkeit, eventualiter die Rückweisung an die SUVA zu ergänzenden Abklärungen. Das Verwaltungsgericht des Kantons Schwyz wies die Beschwerde mit Entscheid vom 25. November 2003 ab. C. R._ führt Verwaltungsgerichtsbeschwerde mit den Anträgen, es sei der angefochtene Entscheid aufzuheben und die Beschwerdegegnerin zu verpflichten, ihm die Versicherungsleistungen im Rahmen einer mindestens 50 %igen Arbeitsunfähigkeit auszurichten sowie die Rentenfrage und die Frage der Integritätsentschädigung zu prüfen. Eventualiter sei eine neutrale medizinische Fachstelle mit der Abklärung der Restfolgen des Unfalles zu beauftragen. Während SUVA und Vorinstanz auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, verzichtet das Bundesamt für Gesundheit auf eine Vernehmlassung. 