Sachverhalt: A. A.a X._ bewirtschaftet in W._ einen landwirtschaftlichen Betrieb. 2003 wurde dieser um einen Stall für rund 2'000 Legehennen erweitert. A.b Für das Jahr 2004 wurde der Betrieb von X._ als Biobetrieb anerkannt. In einem Briefwechsel im Anschluss an das entsprechende Beurteilungsverfahren teilte ihm die bio.inspecta AG (nachfolgend: Zertifizierungsstelle) mit, die Anforderungen zur biologischen Bewirtschaftung würden zwar grundsätzlich eingehalten, es fehlten aber die erforderlichen Bodenanalysen, die bei der Kontrolle für das Jahr 2005 vorzuweisen seien. Allfällige Mängel könnten im Übrigen zu Kürzungen der Direktzahlungen führen, worüber die dafür zuständige kantonale Behörde verfüge. A.c Im Verfahren der Beurteilung als Biobetrieb für das Jahr 2005 entschied die Zertifizierungsstelle zunächst am 6. Januar 2006, der Betrieb von X._ könne weder als Bio Suisse-Betrieb noch als Biobetrieb gemäss der Bio-Verordnung anerkannt werden. Einen dagegen erhobenen Rekurs hiess die Rekursstelle am 7. April 2006 teilweise gut; obwohl die Phosphor-Bilanz seit der Neuaufnahme der Legehennenhaltung einen massiven Überschuss aufweise, sei die Aberkennung als Biobetrieb angesichts der damit verbundenen Folgen unverhältnismässig. A.d Am 10. Mai 2006 trat die Fachstelle Landwirtschaft, Liebegg, auf ein Gesuch von X._, die Aufdüngung seiner unterversorgten Böden mit Hofdünger für das Jahr 2005 zu bewilligen, nicht ein, im Wesentlichen weil ein solches Gesuch jeweils vor der fraglichen Aufdüngung bewilligt werden müsse. A.e Am 15. Mai 2006 stellte die Zertifizierungsstelle X._ das Bio-Zertifikat 2005 zu, sanktionierte ihn aber gleichzeitig mit 100 Punkten, weil keine korrekte Suisse-Bilanz eingereicht worden sei (110 Punkte und mehr führen zur Nicht-Anerkennung eines Betriebes). Auf Rekurs hin hob die Rekursinstanz am 11. Juli 2006 ihren früheren Rekursentscheid vom 7. April 2006 auf und anerkannte am 18. August 2006 den Betrieb des Beschwerdeführers als solchen sowohl gemäss Bio-Verordnung als auch gemäss Bio Suisse. A.f Am 4. Dezember 2006 zertifizierte die Zertifizierungsstelle den Betrieb von X._ für das Jahr 2006. Am 6. Dezember 2006 korrigierte sie die Begründung ihres Entscheides vom 18. August 2006 für das Jahr 2005, ohne die Zertifizierung als solche sowie das Total von Null Punkten zu ändern. B. Mit Schreiben vom 25. April 2007 stellte das Departement Finanzen und Ressourcen, Abteilung Landwirtschaft, des Kantons Aargau (nachfolgend: Departement) X._ in Aussicht, ihm für das Beitragsjahr 2005 aufgrund Nichterbringens des ökologischen Leistungsnachweises wegen Mängeln in den Bereichen Aufzeichnungen und Düngung die Direktzahlungen zu verweigern. Nachdem sich X._ dazu geäussert hatte, traf das Departement am 15. Januar 2008 die folgende Verfügung: "1. Für die Mängel in den Bereichen Aufzeichnungen und Düngung im Jahre 2005 wird eine Nettosanktion von insgesamt 278 Punkten ausgesprochen. 2. Dem Gesuch um Auszahlung von Beiträgen gemäss Direktzahlungsverordnung des Bundes pro 2005 kann daher nicht entsprochen werden. 3. Auf die Rückforderung des mit der Akontozahlung vom 7. Juli 2005 ausbezahlten Beitrages von Fr. 28'803.-- wird verzichtet." C. Am 9. Dezember 2008 wies die Landwirtschaftliche Rekurskommission des Kantons Aargau einen dagegen erhobenen Rekurs ab. Mit Urteil vom 10. November 2010 wies auch das Bundesverwaltungsgericht eine bei ihm eingereichte Beschwerde gegen den Rekursentscheid ab. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 13. Januar 2011 an das Bundesgericht stellt X._ die folgenden Anträge: "1. In Gutheissung der Beschwerde sei das Urteil der Vorinstanz ... vom 10. November 2010 aufzuheben und es seien dem Beschwerdeführer in Feststellung seiner Anspruchsberechtigung auf Direktzahlungen für das Jahr 2005 die Direktzahlungen ungekürzt auszurichten bzw. die Erstinstanz sei anzuweisen, den Umfang der Direktzahlungen für das Beitragsjahr 2005 zu ermitteln und auszurichten; zuzüglich Zins von 5 % seit 1. Januar 2006. 2. Eventuell sei in Gutheissung der Beschwerde das Urteil der Vorinstanz ... vom 10. November 2010 aufzuheben und das Verfahren sei im Sinne der Erwägungen der Beschwerdeinstanz an die Vorinstanz bzw. an die Erstinstanz zur Neubeurteilung zurückzuweisen. ...." Zur Begründung macht X._ im Wesentlichen geltend, er habe den für die Direktzahlungen erforderlichen ökologischen Leistungsnachweis erbracht, was sich bereits aus der Zertifizierung durch die zuständige Zertifizierungsstelle ergebe. Überdies sei ihm das rechtliche Gehör verweigert worden, und das Bundesverwaltungsgericht habe durch seinen Verzicht auf eine öffentliche mündliche Verhandlung gegen bundesrechtliche Verfahrensvorschriften verstossen. E. Das Departement schliesst unter Verzicht auf weitere Ausführungen auf Abweisung der Beschwerde. Die Landwirtschaftliche Rekurskommission des Kantons Aargau sowie das Bundesverwaltungsgericht haben auf eine Vernehmlassung verzichtet. Das Bundesamt für Landwirtschaft hat sich ergänzend zu einzelnen materiell-rechtlichen Aspekten der Beschwerde geäussert, ohne ausdrücklich Antrag zu stellen, wobei aus den Erwägungen hervorgeht, dass das Bundesamt das Urteil des Bundesverwaltungsgerichts als rechtmässig erachtet. 