Faits: A. L._, né en 1957, est entré au service de l'Etat de Vaud le 1er mars 1991 en qualité de surveillant de X._, rattaché au service Y._. Il était responsable de la surveillance de la circonscription Z._ qui regroupe les territoires situés dans les régions de A._, de B._, de C._ et de D._ et dans la réserve de F._ L'activité de surveillant de X._ fait l'objet d'un cahier des charges spécifique. Parmi les tâches principales figurent notamment la dénonciation des infractions constatées, ainsi que la rédaction de divers rapports. Dans un courrier du 21 mai 2003, le service Y._, représenté par N._, chef de service, et S._, conservateur de X._, a reproché à L._ divers manquements professionnels et lui a fixé des objectifs pour y remédier, faute de quoi une procédure d'avertissement serait ouverte contre lui. En particulier, il lui a été reproché un important retard, malgré de nombreux rappels, dans la reddition des rapports annuels et hebdomadaires, ainsi qu'un nombre insuffisant de dénonciations d'infractions. Alors que les surveillants de X._ avaient dressé en moyenne six dénonciations par année de 1998 à 2002, L._ n'en avait, quant à lui, effectué que 0,6 en moyenne durant la même période, soit le taux le plus bas de tous les surveillants de X._. En outre, constatant que l'intéressé exerçait depuis les années 90 une activité annexe de préparation de spécialités culinaires à base de sanglier et de fruits de mer (paëllas), l'employeur a relevé que de telles activités n'étaient admissibles que dans la mesure où elles demeuraient des activités annexes, de type extraordinaire dans le temps, et qu'elles ne nuisaient pas à sa fonction du point de vue du temps consacré et de la crédibilité du service. A cet égard, il a exigé de l'intéressé la mise en place d'une gestion parfaitement transparente et contrôlable de l'origine des viandes préparées. Par lettre du 29 octobre 2003, l'employeur a indiqué que les objectifs fixés par le courrier du 21 mai précédent avaient été atteints à 50 % alors qu'un taux de 90 % était exigé et il a imparti à L._ un ultime délai au 31 décembre 2003 pour atteindre ce but, sous peine d'ouverture d'une procédure d'avertissement. L'activité professionnelle de L._ a fait l'objet de plusieurs bilans (les 7 janvier et 12 mai 2004) qui ont été adressés à l'intéressé. Dans ses courriers, l'employeur a relevé que les buts fixés n'avaient pas encore été entièrement atteints et il a invité l'intéressé à remplir ses obligations, sous peine d'ouverture d'une procédure d'avertissement. Le 20 janvier 2009, N._ a adressé différents reproches à l'intéressé. Il a relevé que les rapports annuels lui parvenaient avec sept mois de retard, que les rapports hebdomadaires d'activités ne lui parvenaient plus depuis le mois de juin 2008, que le nombre de dénonciations effectuées correspondait au tiers de celui réalisé en moyenne par les membres du corps des surveillants permanents de X._, que les délais n'étaient systématiquement pas respectés depuis 2002, ce qui engendrait des retards dans des dossiers importants et suscitait des tensions avec les partenaires du service Y._, que L._ était systématiquement en retard aux rendez-vous et qu'il ne s'excusait de son absence que durant l'heure précédant la séance, que son épouse l'avait accompagné à plusieurs reprises lors de l'exercice de sa fonction, que les factures de téléphone portable atteignaient un niveau quatre fois plus élevé que celui des autres surveillants, que les kilomètres parcourus avec le véhicule de service étaient très élevés et atteignaient fréquemment 150 km par jour et que le détail des kilomètres parcourus manquait depuis le mois de juin 2008, que l'intéressé avait effectué de multiples interventions spontanées, sans autorisation et sans relecture des articles, dans la presse et à la télévision et qu'il exerçait une activité annexe de cuisine de viande de chasse et de paëlla, l'origine des viandes n'étant plus attestée depuis 2004. En conclusion, le chef de service a indiqué que la qualité globale du travail de L._ ne donnait absolument pas satisfaction et que, malgré les nombreux courriers adressés, certains manquements étaient toujours constatés. Selon lui, le comportement de l'intéressé était inadéquat et de nature à altérer gravement le lien de confiance devant prévaloir entre un collaborateur et son employeur. L._ n'a pas contesté ces griefs. Le 16 février 2009, le chef de service a adressé au prénommé un avertissement assorti d'une menace de renvoi et mentionnant le fait qu'il pouvait être contesté auprès du Tribunal de Prud'hommes de l'administration cantonale. L'intéressé n'a pas contesté cet avertissement. Par courrier du 21 juillet 2009, le Département de l'économie de Neuchâtel a informé le service Y._ du canton de Vaud que le contrôleur des denrées alimentaires de Neuchâtel avait constaté, le 8 juillet précédent, que L._ avait vendu un sanglier à un restaurant, alors qu'aucun document n'attestait la provenance de cet animal ni sa soumission à l'analyse obligatoire des trichines. Le 6 août 2009, S._ a informé L._ de l'ouverture d'une enquête au sujet de la vente du sanglier dénoncée par le Département de l'économie de Neuchâtel. Selon le procès-verbal de cet entretien, l'intéressé a notamment reconnu qu'il effectuait du commerce de viande de sanglier depuis quinze ans, en sus de son activité accessoire de préparation de broches. Le 25 août 2009, L._ a été entendu par N._ et S._. Selon le procès-verbal d'audition du 27 août suivant, la ponctualité de L._ était de l'ordre de 90 %, ses rapports hebdomadaires étaient tous rendus, son épouse ne l'accompagnait plus sur son lieu de travail, le kilométrage de son véhicule, ainsi que ses frais de téléphone étaient corrects et aucune intervention n'avait plus été faite dans les médias. Toutefois, l'intéressé n'avait encore effectué aucune dénonciation, ne respectait qu'à 50 % les délais fixés pour l'exécution des diverses tâches qui lui étaient confiées et n'avait pas transmis toutes les attestations relatives à l'origine des viandes préparées dans le cadre de son activité accessoire. De son côté, L._ a confirmé qu'il effectuait du commerce de viande de sanglier depuis quinze ans, ayant ainsi procédé à la vente d'environ cent sangliers au total. De son côté, l'employeur a relevé que l'activité de vente de sangliers était contestable, dès lors qu'elle n'avait pas été validée et que les contrôles de trichine n'étaient pas certifiés. Il paraissait dès lors nécessaire de réitérer un avertissement avec menace de renvoi immédiat car il n'était pas tolérable d'exposer le service à des risques si la situation perdurait. En outre, un arrêt immédiat de l'activité de commerce et de broches était exigé. Une prochaine séance était prévue le 11 septembre 2009 afin de prononcer un nouvel avertissement "sauf si des éléments devaient mener à un licenciement". A la suite de la découverte de l'activité de vente de sangliers, une enquête administrative a été confiée à S._ par N._. Selon un rapport d'enquête du 3 septembre 2009, L._ avait volontairement dissimulé son activité de commerce de viandes. Une partie des sangliers vendus n'avait pas fait l'objet d'analyses de trichine, la majorité des sangliers ayant été vendue alors que l'intéressé ne disposait pas encore des résultats des analyses. Ainsi, L._ avait contrevenu manifestement à la législation en vigueur, ce qui constituait une faute grave. Le fait d'avoir dissimulé ce commerce à sa hiérarchie malgré les nombreux contacts établis rompait véritablement la confiance entre L._ et l'employeur. Dans un rapport complémentaire du 16 septembre 2009, S._ a notamment indiqué que deux visas douaniers et deux factures concernant des sangliers avaient été établis à des moments qui correspondaient à des jours de travail de L._. Le problème du non-respect des délais et du faible nombre de dénonciations y était également relevé, tout comme le fait qu'il manquait, pour les années 2008 et 2009, une trentaine d'attestations d'origine des viandes vendues ou préparées lors des broches. Par décision du 28 septembre 2009, le service Y._ a résilié le contrat de travail de L._ avec effet au 31 décembre 2009 et l'a libéré de son obligation de travailler. A l'appui du licenciement, il invoquait le nombre insuffisant de dénonciations, le non-respect des délais dans le cadre des missions ordonnées, les attestations lacunaires de l'origine des viandes de chasse préparées dans le cadre de son activité annexe, le commerce de viande qui n'avait jamais été annoncé, ainsi que les faux renseignements contenus dans les rapports hebdomadaires. B. Saisi d'une requête tendant à l'annulation de la décision de licenciement du 28 septembre 2009, à la réintégration dans la fonction avec effet immédiat, ainsi qu'au paiement d'une indemnité correspondant à douze mois de salaire et d'une indemnité pour tort moral, le Tribunal de Prud'hommes de l'administration cantonale du canton de Vaud l'a rejetée par jugement du 10 septembre 2010. C. Par mémoire du 2 mai 2011, L._ a recouru contre ce jugement devant la Chambre des recours du Tribunal cantonal du canton de Vaud en concluant à sa réforme en ce sens que les conclusions formées devant la juridiction précédente sont admises et que, par conséquent, la décision de licenciement du 28 septembre 2009 est nulle, le cas échéant annulée. Par jugement du 24 août 2011, la juridiction cantonale a rejeté ce recours. D. L._ interjette un recours en matière de droit public contre ce jugement dont il demande la réformation en ce sens que la décision de résiliation des rapports de service du 28 septembre 2009 est nulle, le cas échéant annulée. Il conclut à sa réintégration avec effet immédiat dans sa fonction de surveillant de X._ et au paiement, en sus du salaire, d'une indemnité correspondant à douze mois de salaire par 90'939 fr., ainsi que d'une indemnité pour tort moral de 10'000 fr., le tout avec intérêt à 5 % l'an à partir du jour suivant la notification de sa demande devant la juridiction des Prud'hommes. Au cas où il ne serait pas réintégré dans sa fonction, l'intéressé conclut au paiement d'une indemnité correspondant à douze mois de salaire par 90'939 fr. et d'une indemnité pour tort moral d'un montant de 10'000 fr., le tout avec intérêt à 5 % l'an. Subsidiairement, il demande le renvoi de la cause à la Chambre des recours du tribunal cantonal, éventuellement au Tribunal de Prud'hommes de l'administration cantonale pour nouveau jugement après complément d'instruction. L'Etat de Vaud conclut au rejet du recours, tandis que le tribunal cantonal a renoncé à présenter des déterminations. Le recourant a déposé des observations sur la réponse de l'intimé. 