Faits: A. X._ a accompli son stage de notariat dans le canton de Vaud. Il s'est présenté pour la seconde fois aux examens écrits en 2010. Il a échoué avec une moyenne de 5,75 sur 10 en ayant obtenu les résultats suivants: Consultation sur un cas pratique de droit civil ou commercial: 6,5 Acte I, vente d'une entreprise agricole: 6 Acte II, vente LFAIE: 7,5 Acte III, droit commercial: 3 Acte IV, contrat de mariage et acte à cause de mort: 5 Problèmes d'ordre comptable et financier: 6,5 TOTAL: 34,5 Compte tenu de ces résultats, X._ n'a pas pu se présenter aux examens oraux. Par lettre du 18 novembre 2010, le Service juridique et législatif, affaires notariales, du canton de Vaud (ci-après: le Service juridique et législatif), au nom de la Commission des examens notariaux (ci-après: la Commission des examens), a informé X._ qu'il avait échoué aux examens et lui a remis un exemplaire du rapport de ladite Commission concernant les épreuves de l'intéressé. B. Le 9 juin 2011, le Tribunal cantonal a rejeté le recours de X._ qui avait produit un avis de droit établi par Me Y._, docteur en droit, notaire et professeur titulaire à l'Université de Fribourg. Après avoir indiqué qu'il faisait preuve d'une certaine retenue en matière d'appréciation de prestations fournies par un candidat lors d'examens, le Tribunal cantonal a estimé que rien, dans l'argumentation qui lui était soumise, n'était de nature à mettre en évidence une erreur grave et indiscutable dans les solutions attendues des candidats, ni une erreur flagrante dans l'appréciation des travaux du recourant. En outre, "les critiques présentées ne s'inscrivent pas dans le contrôle judiciaire d'un résultat d'examen, de sorte qu'il n'y a pas lieu de les discuter plus précisément". C. X._ a formé un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal. Il demande, sous suite de frais et dépens, principalement, d'admettre le recours et de renvoyer la cause au Tribunal cantonal pour une nouvelle décision dans le sens des considérants, subsidiairement, de réformer l'arrêt du Tribunal cantonal en ce sens qu'il est réputé avoir obtenu la moyenne fixée pour les épreuves écrites et qu'il est donc admis aux épreuves orales des examens de notariat. Se déterminant sur le recours, le Tribunal cantonal conclut à son rejet et souligne qu'il ne pouvait "s'ériger en commission supérieure d'examen" et "entrer en matière sur les critiques détaillées du recourant quant à l'appréciation de ses travaux". La Commission des examens notariaux requiert le rejet du recours. Le 3 octobre 2011, le recourant a fait parvenir des déterminations au Tribunal fédéral sans qu'un deuxième échange d'écritures n'eut été ordonné. 