Sachverhalt: A. Dr. med. X._ verfügt seit November 1985 über eine Berufsausübungsbewilligung als Arzt im Kanton Thurgau. Seit Juli 1999 leistet er keinen Notfalldienst mehr. Das Departement für Finanzen und Soziales des Kantons Thurgau befreite ihn mit Entscheid vom 3. August 2005 formell von der Pflicht zur Beteiligung am ärztlichen Notfalldienst. Im Anschluss an eine Rechtsänderung ersuchte X._ die Notfallkommission der Ärztegesellschaft des Kantons Thurgau, von der Befreiung vom 3. August 2005 Vormerk zu nehmen. Die Notfallkommission bestätigte am 12. bzw. 13. Januar 2009 die Befreiung vom Notfalldienst. Gleichzeitig auferlegte sie ihm aber eine "Ersatzabgabe 2009" in Höhe von Fr. 3'000.--. Gegen diese gelangte X._ erfolglos an den Vorstand der Ärztegesellschaft, das Thurgauer Departement für Finanzen und Soziales sowie schliesslich an das Verwaltungsgericht des Kantons Thurgau. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 19. Oktober 2010 beantragt X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts vom 14. Juli 2010 aufzuheben. Die Ärztegesellschaft und das kantonale Departement für Finanzen und Soziales beantragen die Abweisung der Beschwerde. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf überhaupt eingetreten werden könne. Das zur Vernehmlassung eingeladene Eidgenössische Departement des Innern hat auf eine Stellungnahme verzichtet. 