Sachverhalt: A. X._ ist Pächter des Gemüsebaubetriebes G._ in Oberriet/SG; Eigentümerin des Betriebes ist die Politische Gemeinde Oberriet. Im Jahr 2004 pachtete X._ von A.Y._ und B.Y._ (Meiningen/A und Koblach/A) verschiedene in Österreich (Meiningen/A und Rankweil/A) gelegene Grundstücke mit einer Gesamtfläche von rund 7 ha "zur Selbstbewirtschaftung". In den Jahren 2004 bis 2008 führte X._ jeweils von diesen österreichischen Grundstücken stammende, landwirtschaftliche Produkte im Rahmen des landwirtschaftlichen Bewirtschaftungsverkehrs zollbefreit in die Schweiz ein. Am 13. August 2008 wurde gegen X._ eine Zollstrafuntersuchung eröffnet. Die Untersuchung ergab, dass er von April 2004 bis Oktober 2008 zu Unrecht landwirtschaftliche Erzeugnisse zollbefreit in die Schweiz eingeführt habe. Im Zusammenhang mit der Bewirtschaftung der Grundstücke habe A.Y._ etliche Aufgaben übernommen und habe auch einen Teil des Geschäftsrisikos getragen; von einer selbständigen Bewirtschaftung durch den Pächter - eine der Voraussetzungen für die zollbefreite Einfuhr - könne nicht mehr die Rede sein, weshalb sich X._ der Widerhandlungen gegen das Zollgesetz und gegen das Mehrwertsteuergesetz schuldig gemacht habe. Mit Verfügung vom 11. März 2010 forderte die Zollkreisdirektion Schaffhausen von X._ nicht entrichtete Abgaben im Umfang von Fr. 1'532'082.95 nach (Zoll: Fr. 1'385'683.35; Mehrwertsteuer: Fr. 48'423.20; Verzugszins: Fr. 97'976.40). Die dagegen erhobene Beschwerde von X._ hat das Bundesverwaltungsgericht mit Urteil vom 25. November 2010 abgewiesen, soweit es darauf eingetreten ist. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht im Hauptantrag, das erwähnte Urteil des Bundesverwaltungsgerichts sowie die Verfügung der Zollkreisdirektion Schaffhausen über die Leistungspflicht aufzuheben und - mit Ausnahme der Abgaben für Fahrzeugreparaturen - von einer Nachforderung abzusehen. Die Oberzolldirektion beantragt, die Beschwerde abzuweisen. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet. 