Sachverhalt: A. X._ und Y._, Zahnprothetiker mit Praxis in A._, sind seit dem Jahre 1995 im Register für Mehrwertsteuerpflichtige bei der Eidgenössischen Steuerverwaltung eingetragen. Da sie ihrer Pflicht zur Abrechnung über die Mehrwertsteuer seit dem 1. Januar 1996 nicht nachgekommen waren, auferlegte ihnen die Eidgenössische Steuerverwaltung mit zwei Ergänzungsabrechnungen vom 21. November 2007 Mehrwertsteuern in der Höhe von Fr. 31'988.-- (1. Januar 1996 bis 31. Dezember 2000) und Fr. 38'923.-- (1. Januar 2001 bis 30. Juni 2007), je zuzüglich Verzugszinsen. Mit zwei Entscheiden vom 25. März 2008 bestätigte die Eidgenössische Steuerverwaltung die Steuerforderungen. Die Einsprachen gegen die beiden Entscheide wies sie ab (Einspracheentscheide vom 20. Juni 2008). B. Gegen jeden der beiden Einspracheentscheide führten X._ und Y._ Beschwerde beim Bundesverwaltungsgericht. Dieses vereinigte die Verfahren und wies mit Urteil vom 4. März 2010 die Beschwerden ab, soweit darauf einzutreten war. Nicht eingetreten wurde auf die Frage der Steuerpflicht für den Zeitraum vom 1. Januar 1995 bis 31. Dezember 1995, über welche mit Urteil des Bundesgerichts 2A.455/2006 vom 1. März 2007 bereits rechtskräftig entschieden worden war. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen X._ und Y._ dem Bundesgericht sinngemäss, sie seien aus dem Mehrwertsteuerregister zu streichen und es sei die Besteuerung aufzuheben. Die Beschwerdeführer machen geltend, dass sie wiederholt die Löschung im Register beantragt hätten. Leistungen von Zahnprothetikern seien von der Steuer ausgenommen. Eine Erhebung von Mehrwertsteuern, ohne dass Entgelte eingenommen wurden, sei unzulässig. Die Eidgenössische Steuerverwaltung beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz verzichtete auf Vernehmlassung. Am 26. Mai 2010 reichten die Beschwerdeführer eine weitere Stellungnahme ein. 