Sachverhalt: A. Y._ (Beschwerdegegner) arbeitete vom 1. Oktober 2002 bis zum 30. Juni 2007 für X._ (Beschwerdeführer) als Chauffeur Kat. C/E. Mit Klage vom 10. März 2008 verlangte er vom Beschwerdeführer Fr. 60'684.60 nebst Zins für geleistete Überstunden. Nach Auffassung des Beschwerdeführers waren dagegen die Überstunden, soweit sie ausgewiesen waren, mit dem vereinbarten Lohn abgegolten. Allfälligen berechtigten Forderungen des Beschwerdegegners stellte er eine Verrechnungsforderung von Fr. 38'010.-- gegenüber. B. Das Amtsgericht Willisau hiess die Klage im Umfang von Fr. 21'710.10 nebst Zins gut. Auf Appellation des Beschwerdeführers und Anschlussappellation des Beschwerdegegners sprach das Obergericht des Kantons Luzern am 16. März 2010 dem Beschwerdegegner Fr. 43'980.-- nebst Zins zu. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht im Wesentlichen, die Klage abzuweisen. Der Beschwerdegegner schliesst auf Bestätigung des angefochtenen Entscheides. Das Obergericht beantragt unter Verweis auf seine Urteilsbegründung, die Beschwerde abzuweisen, soweit darauf einzutreten ist. 