Faits: A. B._ a été engagé comme assistant social au Service de X._ , dès le 1er juin 1985. Dès le début des années nonante, il a commencé à faire l'objet de critiques de la part de ses supérieurs hiérarchiques. Le 30 octobre 1996, A._, chef de X._, a fait savoir à B._ qu'au vu de l'incapacité de ce dernier à modifier sa façon de travailler, il envisageait de résilier ses rapports de travail. Dès le 13 mai 2000, B._ a présenté une incapacité de travail de 100 %. A partir du mois de novembre 2001, B._ a recommencé à travailler à plein temps. Le 12 mars 2003, C._, cheffe de service ayant succédé à A._ le 1er avril 2002, a reproché à B._ ses difficultés à délimiter son champ de compétences. A la suite de cet épisode, elle lui a proposé un poste dans le cadre de la communication du service, dans le but de mettre à profit ses compétences informatiques et sa facilité rédactionnelle. B._ a décliné cette offre. Depuis le 5 mai 2003, B._ a été en incapacité de travail totale. Ayant repris la direction de X._ en mai 2003, D._ a établi le 4 mai 2004 un "rapport sur les faits, pratiques et attitudes professionnelles reprochés à M. B._, Assistant social de X._", duquel il ressort qu'indépendamment des reproches que l'intéressé a pu adresser à ses supérieurs et au système, des difficultés liées à la mise en oeuvre de la régionalisation de l'action sociale et des conséquences d'une relation conflictuelle avec une cheffe de groupe, les reproches faits à B._ étaient toujours les mêmes et émanaient de différents acteurs au sein de X._ et externes de X._, à savoir: une propension à procéder à une évaluation dramatisante et émotionnelle des situations, une méthode d'intervention trop marquée par l'urgence, un manque de suivi après les interventions en urgence, une grande difficulté à accepter la remise en question et à respecter le cadre méthodologique et administratif fixé par sa hiérarchie, une attitude souvent trop rigide et culpabilisante à l'égard des parents, des retards administratifs souvent importants, y compris dans ses rapports pour la justice et une difficulté à collaborer avec d'autres partenaires de X._ et notamment avec des équipes éducatives d'institutions. D._ a conclu que ces reproches conduisaient pour le moins au constat d'inaptitude avérée de B._ à exercer la fonction d'assistant social auprès de X._, au sens de l'art. 59 de la loi sur le personnel de l'Etat de Vaud, la question d'une résiliation pour justes motifs du contrat d'engagement demeurant ouverte. Par courrier du 12 mai 2004, D._ a imparti à B._ un délai au 3 juin 2004 pour se déterminer par écrit sur le rapport du 4 mai 2004. Le 14 mai 2004, B._ a déposé une demande d'investigation auprès du groupe d'intervention Impact, au sens des art. 14 ss du Règlement relatif à la gestion des conflits au travail et à la lutte contre le harcèlement du 9 décembre 2002 (RCTH; RS/VD 172.31.7). Le demandeur souhaitait faire toute la lumière sur les responsabilités à l'origine, selon lui, de son état de santé actuel. Prenant acte du fait que B._ ne s'était pas déterminé sur le rapport du 4 mai 2004 dans le délai prolongé à cet effet et qu'il renonçait à être entendu lors d'un entretien, le chef de X._ a résilié avec effet immédiat les rapports de travail le 7 juillet 2004. B. B.a Le 3 septembre 2004, B._ a actionné l'Etat de Vaud devant le Tribunal de Prud'hommes de l'Administration cantonale vaudoise (ci-après: TRIPAC), en concluant préliminairement à ce que la procédure soit suspendue jusqu'au dépôt du rapport final du groupe Impact, principalement à ce que l'Etat de Vaud soit reconnu comme son débiteur des sommes de 91'860 fr. (à titre d'indemnité pour résiliation injustifiée des rapports de travail) et 28'578 fr. 65 (à titre de salaire); subsidiairement à ce que l'Etat de Vaud soit reconnu comme son débiteur des sommes de 22'965 fr. (en application de l'art. 337c al. 1 CO) et 45'930 fr. (en application de l'art. 337c al. 3 CO), le tout avec intérêt à 5 % l'an dès le 8 juillet 2004. Le demandeur a complété ses conclusions en cours d'instance, concluant à ce que l'Etat de Vaud soit reconnu comme son débiteur d'une somme de 464'822 fr. à titre de manque à gagner pour la période du 1er juillet 2004 au 30 novembre 2017, d'une somme de 100'000 fr. à titre d'indemnité pour tort moral et d'une somme de 400'000 fr. à titre de perte sur rente. Le Tribunal a procédé à l'audition de plusieurs témoins. Une expertise médicale a en outre été ordonnée et confiée au docteur U._ (cf. rapport d'expertise du 12 mars 2007). Par lettre du 27 septembre 2004, la Caisse de pensions de l'Etat de Vaud a informé B._ qu'il serait mis au bénéfice d'une pension d'invalidité totale avec effet au 1er juillet 2004. Au mois de septembre 2005, le groupe Impact a rendu son rapport, lequel conclut à l'existence d'un harcèlement de la part de X._ à l'égard de B._. Par jugement du 24 novembre 2010, le TRIPAC a condamné l'Etat de Vaud à payer à B._ la somme brute de 5'840 fr. 70, sous déduction des charges sociales (correspondant à des dommages-intérêts pour licenciement immédiat injustifié au sens de l'art. 337c al. 1 CO) et la somme nette de 33'171 fr. 60 avec intérêt à 5 % l'an dès le 8 juillet 2004 (correspondant à l'indemnité fondée sur l'art. 337c al. 3 CO) ainsi que la somme de 5'000 fr. (à titre d'indemnité pour tort moral) avec intérêt à 5 % l'an dès le 7 mars 2006. Le tribunal a débouté B._ de ses prétentions en dommages et intérêts au titre du gain manqué pour la période du 1er juillet 2004 au 30 novembre 2017 et au titre du dommage de rente. B.b Statuant le 13 mai 2011 sur recours de B._ et recours joint de l'Etat de Vaud, la Chambre des recours du Tribunal cantonal du canton de Vaud a réformé le jugement du TRIPAC en ce sens qu'il a condamné l'Etat de Vaud à payer à B._ la somme de 12'000 fr. avec intérêt à 5 % l'an dès le 7 mars 2006 à titre de réparation morale. Pour le reste, il a rejeté les prétentions du demandeur. C. Contre le jugement de la Chambre des recours, B._ interjette un recours en matière civile et un recours constitutionnel subsidiaire. Il demande préalablement au Tribunal fédéral d'ordonner la mise en oeuvre d'une expertise auprès d'un actuaire afin de chiffrer sa perte de gain et sa perte sur rente. Au principal, il conclut à la réforme du jugement entrepris en ce sens que l'Etat de Vaud est reconnu comme son débiteur des sommes de 91'860 fr. (à titre d'indemnité pour licenciement injustifié), 100'000 fr. (à titre d'indemnité pour tort moral), et 464'822 fr. (à titre de "réparation du dommage matériel"), le tout avec intérêts. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause en première instance pour nouvelle décision. L'Etat de Vaud conclut préalablement au rejet de la demande d'expertise, principalement au rejet du recours. 