Sachverhalt: Sachverhalt: A. Mit Schreiben vom 9. März 2001 stellte A._ bei der Eidgenössischen Steuerverwaltung erstmals ein Begehren um Schadenersatz im Umfang von insgesamt Fr. 158'000.-- sowie um Genugtuung. Dieses begründete er im Wesentlichen mit einer angeblich fehlerhaften Mehrwertsteuerkontrolle und erheblich überhöhten -veranlagung durch die Eidgenössische Steuerverwaltung, was dazu geführt habe, dass er an schweren Depressionen leide und nicht mehr arbeitsfähig sei. Mit weiteren Eingaben vom 6. Juni 2002 sowie 5. und 13. Juli 2002 erneuerte A._ seine Anträge beim Eidgenössischen Finanzdepartement, wobei er seine Schadenersatzforderung auf Fr. 227'042.-- erhöhte. Am 6. Mai 2003 wies das Departement das Schadenersatz- und Genugtuungsbegehren von A._ ab. Zur Begründung führte es im Wesentlichen aus, die Buchhaltungen der verschiedenen Unternehmen des Gesuchstellers seien im Zeitpunkt der Kontrolle durch die Eidgenössische Steuerverwaltung im November 1999 ungenügend gewesen, so dass die Steuerverwaltung zu Recht eine Ermessenseinschätzung vorgenommen habe. Diese sei zwar zu hoch ausgefallen und habe nachträglich reduziert werden müssen, es handle sich dabei aber nicht um eine schwere Amtspflichtverletzung und damit um Widerrechtlichkeit im Sinne des Haftungsrechts. Überdies fehle es an den haftungsbegründenden Voraussetzungen der natürlichen sowie der adäquaten Kausalität. Unbegründet sei schliesslich auch die Genugtuungsforderung. Am 29. Oktober 2003 wies die Eidgenössische Rekurskommission für die Staatshaftung eine dagegen erhobene Beschwerde von A._ ab. Am 29. Oktober 2003 wies die Eidgenössische Rekurskommission für die Staatshaftung eine dagegen erhobene Beschwerde von A._ ab. B. Mit Verwaltungsgerichtsbeschwerde vom 1. Dezember 2003 an das Bundesgericht stellt A._ die folgenden Anträge: "1. Der Entscheid der Eidgenössischen Rekurskommission für die Staatshaftung vom 29.10.2003 sei aufzuheben. Es sei festzustellen, dass eine Verantwortlichkeit des Staates im Sinne der nachfolgenden Ausführungen besteht. 2. Dem Beschwerdeführer seien Fr. 227'042.-- Schadenersatz für den Zeitraum vom 1.1.2000 bis 31.12.2001 zuzusprechen. 3. Dem Beschwerdeführer sei eine Genugtuung nach richterlichem Ermessen zuzusprechen. 4. Es sei vom Nachklagerecht Vormerk zu nehmen. 5. Allenfalls sei die Sache zur neuerlichen Beurteilung (insbesondere wegen Verletzung der Begründungspflicht sowie Nichtabnahme respektive Verschleierung von Beweisen) an die Vorinstanz zurückzuweisen, allenfalls auch zur ergänzenden Beweisabnahme bezüglich Kausalität. ..." A._ begründet seine Begehren im Wesentlichen damit, bei der Veranlagung für die Mehrwertsteuer seien dem zuständigen Steuerinspektor erhebliche Verfahrensfehler unterlaufen, was dieser schriftlich eingeräumt, die Rekurskommission aber unberücksichtigt gelassen habe. Insgesamt sei von einer haftungsbegründenden Widerrechtlichkeit und von einem kausalen Zusammenhang mit den Einkommensverlusten auszugehen, die sich aus der dadurch ausgelösten Erkrankung ergeben hätten. Das Eidgenössische Finanzdepartement schliesst auf Abweisung der Beschwerde. Die Eidgenössische Rekurskommission für die Staatshaftung hat auf eine Stellungnahme verzichtet. 