Faits: A. X._, maître agriculteur depuis le 7 janvier 1988, exploite une entreprise agricole familiale à A._, en Gruyère. Le 15 février 1990, la Commission cantonale fribourgeoise de la formation professionnelle agricole (ci-après: la Commission cantonale de la formation professionnelle) a confirmé la reconnaissance de l'exploitation agricole de l'intéressé comme entreprise formatrice. De 1990 à 2006, X._ a engagé seize apprentis agriculteurs. Suite à la rupture, le 25 janvier 2001, du contrat d'apprentissage de B._, la Commission cantonale de la formation professionnelle a prononcé à l'encontre de X._, par décision du 12 avril 2001, un sérieux avertissement, assorti d'une menace du retrait de l'autorisation de former des apprentis. Elle a retenu que l'intéressé avait fait preuve de rudoiements et de propos dénigrants à l'égard de son apprenti et que celui-ci avait subi de vives tensions psychiques. Cette mesure a été confirmée, sur recours, par décision de ladite Commission du 19 décembre 2001. Le 12 février 2005, l'apprenti C._, invoquant des motifs de protection contre les dégâts psychiques occasionnés par son maître d'apprentissage, a manifesté sa volonté de rompre le contrat le liant à X._. A l'issue d'une séance réunissant l'apprenti et ses parents, le maître d'apprentissage et son épouse, ainsi que D._, du Centre de formation agricole et forestière, le contrat d'apprentissage a été résilié d'un commun accord, en dépit des divergences des parties quant aux causes de la rupture. En date du 1er mars 2007, deux des membres de la Commission cantonale de la formation professionnelle ont effectué une visite usuelle de contrôle des conditions d'apprentissage de E._. A teneur de leur rapport du 16 mars 2007, ils ont fait état d'un certain nombre de carences imputables à X._, soit une perception négative des compétences de l'apprenti, une attitude générant la crainte de l'apprenti envers son patron, ainsi que l'absence d'une autonomie suffisante dans le travail de l'apprenti. B. Par décision du 13 avril 2007, la Commission cantonale de la formation professionnelle, s'exprimant par son Bureau, a révoqué l'autorisation de former des apprentis agricoles dont bénéficiait X._ et a annulé les contrats d'apprentissage conclus par E._ pour l'année 2006-2007 et par G._ pour l'année 2007-2008. Elle a relevé, en bref, que les mises en garde adressées au maître d'apprentissage n'avaient pas eu le résultat escompté et que la qualité de la formation des apprentis n'était plus garantie. Le 30 avril 2007, X._ a contesté cette décision auprès du Directeur de l'Institut agricole de l'Etat de Fribourg (ci-après: l'Institut agricole) qui, par décision du 24 juillet 2007, a confirmé la révocation de l'autorisation de former des apprentis ainsi que l'annulation des contrats d'apprentissage pour les années 2006-2007 et 2007-2008. Saisi d'un recours dirigé contre la décision précitée du Directeur de l'Institut agricole, le Tribunal cantonal du canton de Fribourg, Ie Cour administrative (ci-après: le Tribunal cantonal) l'a rejeté, par arrêt du 24 septembre 2009. Il a retenu, en substance, qu'au vu du nombre de résiliations anticipées de contrats d'apprentissage, l'autorité compétente était tenue de réagir et de vérifier s'il était encore possible, sous l'angle de la protection de la personnalité, d'autoriser X._ à former des apprentis, qu'une telle interrogation se justifiait d'autant plus que les apprentis partageaient la vie de famille du maître d'apprentissage et étaient ainsi confrontés de manière permanente à d'éventuelles difficultés de nature relationnelle, que l'intéressé, qui n'entendait pas modifier son comportement et imputait les problèmes rencontrés avec certains apprentis à leur éducation défaillante, paraissait dépourvu de la sensibilité élémentaire que l'on devait pouvoir attendre d'un formateur de jeunes gens en âge de développement, que l'avertissement prononcé le 12 avril 2001 était resté sans effet, que X._ ne s'était d'aucune façon rendu compte du malaise vécu à son contact par B._ et C._ et qu'il n'était plus en mesure de garantir durablement le respect de la personnalité des apprentis qui lui seraient confiés, notamment de leur bien-être psychique. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 24 septembre 2009 et de dire, principalement, qu'il est autorisé à former des apprentis, subsidiairement, que le retrait d'autorisation est soumis à révision tous les deux ans, plus subsidiairement, que la cause est renvoyée à l'autorité inférieure pour nouvelle décision dans le sens des considérants. Il invoque la violation du droit fédéral et cantonal en matière de formation professionnelle, ainsi que celle des art. 9, 29 et 5 al. 2 Cst. Le Tribunal cantonal se réfère aux considérants de l'arrêt attaqué et conclut au rejet du recours. Le Directeur de l'Institut agricole conclut également au rejet du recours. Le Département fédéral de l'économie renonce à déposer des observations et relève que le retrait de l'autorisation de former des apprentis notifiée à X._ respecte les dispositions légales applicables en la matière. 