A.- Dès le 1er mai 1987, l'Etat de Vaud, Association pour la restauration du Château B._, a engagé A._ par contrat de droit privé en qualité de gardien-jardinier au Château B._ (ci-après: le Château). Celui-ci a été nommé à ce poste comme fonctionnaire dès le 1er avril 1989. B.-Le 16 août 1994, l'Intendant du Château (ci-après: l'Intendant), C._, a reproché à l'intéressé notamment d'avoir modifié en son absence le plan de travail de fin juillet 1994 afin de prendre plus de vacances - contrairement aux instructions données - et d'avoir quitté son poste le dernier jour de travail à 14 heures 50 déjà, sans avoir exécuté toutes les tâches demandées et sans avertir ses collègues. En 1992 déjà, A._ aurait profité de ses vacances d'été pour porter la durée des siennes de 25 à 28 jours, alors qu'auparavant il avait été informé de la durée trop longue de son absence en pleine saison. L'Intendant lui a en outre reproché son comportement, son manque d'allantet d'initiative et sa peine à s'intégrer dans le travail d'équipe et lui a demandé formellement de corriger ces manquements. Le 15 juin 1999, confirmant un entretien de fin mai 1999, C._ a signifié une mise en garde à l'intéressé, l'informant que la poursuite de son activité au Château serait désormais conditionnée par une amélioration très significative, immédiate et durable de la qualité de son travail, faute de quoi une procédure de renvoi serait engagée contre lui. Il attendait notamment un meilleur engagement dans son activité, une solidarité effective avec ses collègues et, de manière générale, une meilleure exécution de toutes ses tâches (nettoyage, gardiennage, jardinage, etc.). C.- Le 18 juin 1999, A._ a contacté le groupe D._ - compétent notamment pour traiter les plaintes pour harcèlement psychologique en vertu de l'art. 5 de l'arrêté vaudois du 23 juin 1999 relatif à la lutte contre le harcèlement au travail dans l'administration vaudoise - auprès duquel il s'est plaint des agissements de son supérieur hiérarchique, C._. La médiation ayant été refusée et la situation s'étant par la suite dégradée, ledit groupe a décidé, avec l'accord de l'intéressé, de mener une investigation en vue d'établir les faits dont se plaignait celui-ci. Le 10 février 2000, le groupe précité a rendu un rapport relatif au conflit entre A._ et C._ adressé au Chef du Département des institutions et des relations extérieures (DIRE) du canton de Vaud (ci-après: le Chef du Département). Ayant procédé à des investigations et à l'audition de plusieurs personnes citées par A._et C._, il a notamment conclu que l'Intendant n'avait pas eu de comportements hostiles visant à nuire à A._. Il n'a en particulier pas constaté d'agissements relevant du mobbing de la part de C._ envers celui-là. D.- Par courrier du 2 mars 2000, l'Intendant a reproché à l'intéressé d'avoir eu une attitude très désagréable envers des visiteurs du Château et l'a prié d'éviter à l'avenir tout débordement de même nature. Par lettre du 28 avril 2000, il lui a demandé d'affirmer sur l'honneur qu'il n'était pour rien dans la disparition de plusieurs objets. En outre, il l'a également sollicité de remettre en place l'outillage et le matériel appartenant au Château, de ne pas accumuler sur et devant le vestiaire d'un collègue ses affaires personnelles ou du matériel, de cesser d'envenimer la situation, d'obéir aux ordres et consignes pour les tâches de nettoyage et de gardiennage, d'être plus organisé, rapide, efficace et propre dans son travail, de ne pas quitter le Château et son domaine sans avertir et sans justification et d'être plus avenant, poli et agréable avec les visiteurs du Château, ses collègues de travail et lui-même. Le 1er mai 2000, l'Intendant a adressé copie de son courrier précité ainsi que de ceux des 16 août 1994 et 15 juin 1999 au Chef du Département en lui signalant que l'attitude de A._ au travail empirait, tout particulièrement ces derniers mois, au point que presque tous ses collègues s'en plaignaient et qu'un conflit quasi-permanent régnait avec plusieurs d'entre eux. Il ne pouvait plus continuer à travailler ainsi avec lui. Le 8 mai 2000, deux collègues de travail de l'intéressé, dont celui avec lequel celui-ci devait travailler en paire, se sont plaints de son comportement auprès du Chef du Département. Ils lui reprochaient en substance de ne pas effectuer son travail, de rendre le leur impossible, notamment en cachant leurs outils de travail, de mettre ses affaires devant leur vestiaire, de démonter systématiquement le porte-savon ainsi que de les insulter et provoquer. Cette situation, qui se dégradait de jour en jour, aurait eu des conséquences pour leur santé. Ils priaient le Chef du Département de prendre une décision rapidement avant que la situation ne s'aggrave davantage. Le même jour, l'épouse d'un collègue de travail s'est également adressée audit chef en lui demandant d'agir rapidement "dans un sens ou dans un autre". Le 9 mai 2000, l'Intendant a signalé à l'Administrateur de l'Association du Château n'avoir aucune réaction de A._ à sa lettre du 28 avril 2000. Il faisait également état d'un incident survenu le 7 mai 2000 au cours duquel celui-ci - qui continuait à "disparaître" pendant de longues périodes et à travailler au ralenti - aurait versé du savon liquide sur la radio de l'un de ses collègues. E.- Le 24 mai 2000, le Chef du Département a décidé de suspendre l'intéressé de son activité professionnelle avec effet immédiat et d'ouvrir, "dans les plus brefs délais", la procédure de renvoi pour justes motifs à son encontre. Il a maintenu le versement de son traitement. Le 29 mai 2000, par l'intermédiaire de son avocat, A._ a affirmé sur l'honneur qu'il n'était pour rien dans la disparition d'objets reprochée le 28 avril 2000. Il s'est également engagé à remettre en place, comme il l'aurait toujours fait, l'outillage et le matériel appartenant au Château. Le 7 juillet 2000, le Chef du Département a transmis à l'intéressé le rapport exposant les motifs de renvoi. Le 11 octobre 2000, celui-ci a été entendu par une délégation du Conseil d'Etat du canton de Vaud (ci-après: le Conseil d'Etat). Le 30 octobre 2000, le Conseil d'Etat l'a renvoyé - avec effet au jour même - pour justes motifs au sens de l'art. 89 de la loi vaudoise du 9 juin 1947 sur le statut général des fonctions publiques cantonales (ci-après: le Statut; RSV 1.6). Il lui a reproché en substance son comportement envers ses collègues - en particulier ses insultes et provocations - qu'il a jugées inadmissibles, constituant à elles seules un motif justifiant le renvoi immédiat, son impolitesse avec des visiteurs du Château ainsi que ses manquements au travail, notamment la mauvaise qualité de ce dernier, ses "disparitions" fréquentes et sa désobéissance. Pour toutes ces raisons, la poursuite des rapports de travail ne pouvait être exigée de l'Etat de Vaud, le lien de confiance étant définitivement détruit. F.- Agissant par la voie du recours de droit public, A._ demande l'annulation de la décision précitée. Invoquant l'art. 9 Cst. , il reproche au Conseil d'Etat une appréciation arbitraire des preuves ainsi qu'une application arbitraire du droit cantonal. Ledit Conseil conclut à l'irrecevabilité du recours, subsidiairement à son rejet. 