Sachverhalt: Sachverhalt: A. Am 4. April 2001 wurde B._ bei der Einreise von Österreich in die Schweiz beim Zollamt Kriessern/SG einer Zollkontrolle unterzogen. Diese ergab, dass er 37 kg Schweinefleisch mitführte, die er nicht zur Verzollung angemeldet hatte. Wie sich in der gegen ihn angehobenen Untersuchung herausstellte, hatte B._ seit mehreren Jahren ohne Zollanmeldung Schweinefleisch aus Österreich in die Schweiz eingeführt. Dieses verkaufte er jeweils an verschiedene Restaurants, darunter regelmässig auch das Restaurant C._ in X._. Dessen Eigentümer und Betreiber, A._, bezog in den Jahren von 1995 bis 2001 von B._ insgesamt 4'113,1 kg Schweinefleisch. Am 30. August 2001 stellte die Zollkreisdirektion Schaffhausen gegen A._ ein Schlussprotokoll aus. Mit diesem wurde ihm zur Last gelegt, gegen das Zollgesetz, das Tierseuchengesetz sowie das Mehrwertsteuerrecht verstossen zu haben. Gleichzeitig erliess sie eine Verfügung, mit welcher sie A._ in solidarischer Leistungspflicht mit B._ für Abgaben in der Höhe von insgesamt Fr. 108'320.60 (Zoll: Fr. 104'829.50; Mehrwertsteuer: Fr. 3'491.10) leistungspflichtig erklärte. Dieser Betrag entspricht den auf dem von B._ bezogenen Fleisch lastenden Abgaben. Mit Entscheid vom 6. Januar 2003 hiess die Oberzolldirektion die von A._ am 1. Oktober 2001 gegen seine Leistungsverpflichtung erhobene Beschwerde teilweise - d.h. betreffend Fleischlieferungen vor dem 30. Juni 1995 - gut; im Übrigen wurde die Beschwerde abgewiesen. Dagegen wandte sich A._ an die Eidgenössische Zollrekurskommission, welche seine Beschwerde am 12. November 2003 teilweise guthiess und die Sache zur neuen Beurteilung bzw. Korrektur des geschuldeten Abgabebetrages an die Vorinstanz zurückwies. Dagegen wandte sich A._ an die Eidgenössische Zollrekurskommission, welche seine Beschwerde am 12. November 2003 teilweise guthiess und die Sache zur neuen Beurteilung bzw. Korrektur des geschuldeten Abgabebetrages an die Vorinstanz zurückwies. B. Mit Verwaltungsgerichtsbeschwerde vom 15. Dezember 2003 beantragt A._ dem Bundesgericht im Hauptantrag, den Entscheid der Eidgenössischen Zollrekurskommission aufzuheben, soweit seine Beschwerde abgewiesen worden sei. Die Oberzolldirektion beantragt, die Verwaltungsgerichtsbeschwerde abzuweisen. Die Eidgenössische Zollrekurskommission hat auf eine Vernehmlassung verzichtet. 