Faits: A. Le 14 février 2003, X._, qui était à l'époque notaire, a instrumenté l'acte constitutif de la société A._ SA, sise à B._. Le but de la société était la location d'objets immobiliers pour les vacances. Le capital social a été fixé à 100'000 fr.; il était divisé en cent actions nominatives d'une valeur de 1'000 fr. chacune. C._ a souscrit 98 actions, D._ et E._ une action chacun. C._ a été nommé administrateur unique de la société. Le 26 mars 2003, X._ a instrumenté l'acte par lequel F._ et G._ ont vendu à A._ SA la parcelle no *** située sur le territoire de la commune de B._. L'acte indiquait que ce bien-fonds servirait d'établissement stable au sens de l'art. 2 al. 2 let. a de la loi fédérale du 16 décembre 1983 sur l'acquisition d'immeubles par des personnes à l'étranger (LFAIE; RS 211.412.41). Le 16 juin 2003, l'assemblée générale des actionnaires de A._ SA a modifié le but de la société, qui était dorénavant d'exploiter sous forme hôtelière et para-hôtelière l'immeuble "A._" à B._, ainsi que tout autre établissement similaire en Suisse. X._ a fonctionné comme secrétaire de cette assemblée, dont il a tenu le procès-verbal. A celui-ci était annexé une procuration établie le 10 juin 2003 par H._, I._ et J._, citoyens britanniques résidant en Grande-Bretagne, désignés comme détenteurs de respectivement 34, 33 et 33 actions de la société. Le 20 novembre 2003, l'assemblée générale des actionnaires de A._ SA, avec X._ comme secrétaire, a pris acte de la démission de C._ de ses fonctions d'administrateur; D._ l'a remplacé. Le même jour, X._ a instrumenté l'acte par lequel la Banque cantonale vaudoise a vendu à A._ SA les parcelles nos ****, ****, **** et **** situées sur le territoire de la commune de B._. Le 29 novembre 2003, le conservateur du registre foncier d'Aigle a rejeté la réquisition d'inscription du transfert de propriété de la parcelle no ***, pour le motif que la décision de la Commission foncière II, ainsi que l'attestation que A._ SA était majoritairement en mains suisses, faisaient défaut. X._ ayant fourni la déclaration nécessaire, le 29 décembre 2003, le conservateur a procédé à l'inscription du transfert de propriété de la parcelle no ***. Il a fait de même pour les parcelles nos **** à ****. B. Le 17 octobre 2008, le Département de l'économie du canton de Vaud a demandé à la Commission foncière du canton de Vaud, section II (ci-après: la Commission foncière II) de constater, conformément à l'art. 25 al. 1bis LFAIE, que les acquisitions d'immeubles par A._ SA étaient soumises au régime de l'autorisation. Il a relevé qu'au vu du procès-verbal de l'assemblée générale des actionnaires de A._ SA du 20 novembre 2003, X._ aurait fait des déclarations contraires à la vérité, en confirmant au conservateur du registre foncier, le 29 décembre 2003, que le capital-actions de la société en question était détenu par des Suisses ou des étrangers établis en Suisse. Le même jour, le Département de l'économie a dénoncé X._ au Juge d'instruction cantonal. Par décision du 1er mai 2009, la Commission foncière II a constaté d'office ultérieurement que la constitution de A._ SA était assujettie au régime de l'autorisation et refusé ladite autorisation (ch. 1 du dispositif); elle a relevé la nullité de l'acte constitutif de cette société (ch. 2). Elle a également constaté d'office ultérieurement que l'acquisition par A._ SA des parcelles ***, **** et **** (recte: **** et ****) était soumise au régime de l'autorisation et refusé ladite autorisation (ch. 3); elle a relevé la nullité des actes de vente desdites parcelles (ch. 4). Enfin, elle a transmis le dossier de la cause au Département de l'économie en vue de l'ouverture de l'action en cessation de l'état illicite (ch. 5). Cette décision a été notifiée à l'administrateur de A._ SA, au mandataire de H._, I._ et J._, à la Municipalité de B._, au Département de l'économie, ainsi qu'à l'Office fédéral de la justice. Elle a en outre été communiquée pour information à F._ et G._, à la Banque cantonale vaudoise, au conservateur du registre foncier d'Aigle et au préposé du registre du commerce du canton de Vaud. Elle n'a pas été adressée à X._. Le prononcé n'a pas été contesté par les personnes et autorités à qui il a été notifié ou communiqué. C. Par acte du 15 juillet 2009, X._ a recouru auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) à l'encontre de la décision de la Commission foncière II. Il a conclu principalement à l'annulation de celle-ci dans tous les points de son dispositif; à titre subsidiaire, il a demandé qu'un délai de trois mois soit accordé à A._ SA, ses actionnaires ainsi que son administrateur, pour rendre conforme aux exigences légales d'un établissement stable l'affectation des immeubles en cause et qu'il soit constaté que les actes des 14 février, 20 (recte: 26) mars et 20 novembre 2003 ont été instrumentés de bonne foi. Il a par ailleurs requis l'octroi de l'effet suspensif et diverses mesures d'instruction. Par décision du 20 juillet 2009, le Juge instructeur du Tribunal cantonal a privé le recours d'effet suspensif. A l'encontre de ce prononcé, X._ a formé, par acte du 20 août 2009, un recours au Tribunal fédéral (procédure 2C_506/2009). Il a simultanément recouru au Tribunal cantonal. Par arrêt du 4 septembre 2009, le Tribunal cantonal a rejeté le recours du 15 juillet 2009. Il a repoussé le grief de violation du droit d'être entendu, en considérant que X._ n'avait pas la qualité de partie dans la procédure ayant abouti à la décision attaquée. Celui-ci n'avait en effet aucun intérêt personnel à la modification de cette décision. S'il entendait contester les motifs de celle-ci, il lui était loisible de le faire dans le cadre d'une éventuelle procédure pénale ou action civile engagée contre lui. Le seul fait de devoir endurer les désagréments inhérents à de telles procédures ne justifiait pas de lui reconnaître la qualité de partie devant la Commission foncière II. D. A l'encontre de l'arrêt du 4 septembre 2009, X._ a interjeté recours au Tribunal fédéral (procédure 2C_621/2009). Il a conclu, sous suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente, afin que celle-ci reconnaisse sa qualité de partie, instruise la cause et statue sur le recours, en prononçant en outre "des mesures provisionnelles et l'effet suspensif" à l'égard de la décision de première instance rendue par la Commission foncière II. Il a de plus demandé qu'il soit interdit à titre provisionnel à la Commission foncière II d'exécuter sa décision, "soit de liquider et radier la société A._ SA et de requérir la réinscription au registre foncier des parcelles litigieuses de B._ aux chapitres des vendeurs, Banque cantonale vaudoise et Messieurs F._ et G._". La Commission foncière II a conclu au rejet du recours dans la mesure de sa recevabilité. Le Tribunal cantonal a fait part de ses observations, en se référant pour le surplus à son arrêt. L'Office fédéral de la justice a renoncé à se déterminer. Dans le cadre d'un second échange d'écritures, le recourant a déposé une réplique, sur laquelle la Commission foncière II s'est exprimée par l'envoi d'une duplique. Dans une écriture spontanée, le recourant s'est prononcé sur cette dernière. La requête de mesures provisionnelles a été rejetée par ordonnance présidentielle du 21 octobre 2009. Une nouvelle requête d'effet suspensif déposée le 26 octobre 2009 a été admise par ordonnance présidentielle du 19 novembre 2009. Par ordonnance présidentielle du 2 décembre 2009 (procédure 2C_506/2009), le recours interjeté le 20 août 2009 contre la décision du 20 juillet 2009 concernant l'effet suspensif a été déclaré sans objet et l'affaire rayée du rôle. 