Faits: Faits: A. Le 3 janvier 1985, X._, né en 1935, est entré au service de la Caisse cantonale vaudoise de compensation AVS, à l'agence de Z._ (ci-après citée: la Caisse ou l'employeur). Dès le début de son engagement, le prénommé a rencontré d'importantes difficultés dans l'accomplissement de ses tâches de taxateur et ses prestations n'ont pas donné satisfaction; il lui était reproché, en particulier, d'être désagréable avec ses collègues de travail et avec les assurés dont il avait la charge, de commettre de nombreuses et fréquentes erreurs dans le traitement des dossiers, notamment lors du calcul des rentes, d'avoir grand peine à acquérir de nouvelles connaissances, surtout en matière informatique et, enfin, de travailler lentement et d'accumuler des retards importants (cf. fiches d'appréciation établies le 19 novembre 1985 par A._, directeur-adjoint de la Caisse, et les 6 novembre 1986 et 21 octobre 1987 par B._, chef du service des rentes; voir aussi le rapport rédigé en juillet 1986 par C._, collaborateur au service des rentes). Ses collègues de travail et plusieurs assurés se sont plaints de son comportement à différentes reprises, et il a été averti et menacé de sanctions disciplinaires, oralement ou par écrit, notamment les 14 juillet 1986 (lettre du directeur-adjoint de la Caisse) et 25 août 1986 (rencontre avec le directeur et différents responsables de la Caisse). En dépit de ces mises en garde, les prestations de l'intéressé ne se sont par la suite pas améliorées (cf. fiches d'appréciation du chef du service des rentes des 6 novembre 1986, 21 octobre 1987 et 12 août 1988) et, courant 1989, la Caisse l'a finalement invité à chercher un nouvel emploi. En octobre de la même année, il a demandé qu'une nouvelle chance lui soit accordée de faire ses preuves. A la suite d'énièmes incidents, il a été relevé provisoirement de ses fonctions de taxateur et affecté à de nouvelles tâches, une première fois à fin 1989, puis une seconde fois à fin 1991. A partir de 1992, il a eu des comportements étranges, se traduisant notamment par de graves troubles de mémoire, puis, dès le milieu de l'année 1993, par une propension à détruire des pièces figurant dans les dossiers des assurés. Le 23 novembre 1993, le directeur de la Caisse lui a adressé une lettre contenant le passage suivant: "(...) Il devient donc de plus en plus difficile d'avoir recours à votre collaboration et, avant de prendre des mesures administratives, je vous propose de vérifier préalablement si des motifs médicaux ne peuvent pas expliquer cette situation. J'envisage donc de prier le Docteur D._, adjoint au médecin cantonal, de vous convoquer pour tenter de faire le point avec vous sur cet aspect de la question; si vous vous déclarez opposé à cette procédure, il ne nous restera donc plus que la procédure administrative que je devrai rapidement engager." X._ s'est plié à l'examen médical proposé par la Caisse et il a retrouvé son ancienne tâche de taxateur. Après s'être livré à de nouvelles destructions de documents, il a été suspendu, en septembre 1994, de toute fonction "jusqu'à nouvel avis", et prié par son employeur de se soumettre à une expertise médicale. Dans un rapport du 20 décembre 1994, les médecins du Département universitaire de psychiatrie adulte (DUPA) ont estimé qu'une reprise de son activité à la Caisse était "formellement contre-indiquée", en raison notamment d'un risque "hétéro-agressif non négligeable"; à moins d'une éventuelle possibilité de replacement au sein de la nouvelle organisation de l'AI, ils ont conclu qu'une reprise du travail était "très peu probable" et que l'on s'acheminait vers une incapacité de travail définitive. Le 7 février 1995, l'adjoint au médecin cantonal a proposé à la Caisse de pensions de l'Etat de Vaud (CPEV) d'accorder à X._ des pleines prestations d'invalidité, en relevant que l'intéressé devait cesser son activité "au plus tard au 1er mars 1995", en raison d'une incapacité de travail durable au poste occupé. Le 14 février 1995, le directeur de la Caisse a écrit à l'intéressé la lettre suivante: "Vous avez reçu du Docteur D._ copie de sa lettre du 7 février 1995 au Conseil d'administration de la Caisse de pensions par laquelle il indique qu'il est justifié de vous accorder des prestations selon l'art. 54 LCP (invalidité définitive) à un taux de 100%. Nous informons ce jour la Caisse de pensions de bien vouloir vous accorder ses prestations à partir du 1er avril 1995 (environ Fr. 1'690.--, y compris le supplément temporaire). Selon le Statut de l'Etat de Vaud, nous pourrions donc mettre un terme au versement du salaire à fin mars. Toutefois, conformément aux discussions que nous avons eues avec le Dr. D._ et afin de ne pas vous laisser dans des difficultés financières, nous avons décidé de compléter les prestations de la Caisse de pensions (que vous recevrez directement) jusqu'à concurrence de votre salaire net actuel, soit Fr. 5'721. 40, jusqu'au 31 juillet 1995. Du 1er août au 31 octobre 1995, nous compléterons les prestations de la Caisse de pensions jusqu'à concurrence du 80% de votre salaire actuel. Nous vous prions cependant de bien vouloir déposer une demande de rente AI afin de bénéficier de ces prestations; dès l'entrée en vigueur de la décision AI, nous tiendrons compte, dans le calcul du complément de salaire versé par notre Caisse, du montant de la rente AI, en raison des règles impératives concernant la surassurance. Nous espérons que ce dispositif vous permettra d'organiser votre retraite (...)." Le 21 mars 1995, la CPEV a informé X._ qu'elle le mettait au bénéfice d'une pension d'invalidité totale à partir du 1er avril suivant. L'intéressé n'a pas accepté cette décision et n'a pas retourné à la CPEV le questionnaire sur lequel il devait indiquer le mode de paiement; les pensions ont été consignées sur un compte bancaire. Pour sa part, l'employeur a complété les prestations d'invalidité de la CPEV, du 1er avril au 31 octobre 1995, conformément aux modalités annoncées dans sa lettre (précitée) du 14 février 1995. X._ n'a par la suite pas offert ses services à la Caisse et s'est inscrit au chômage à partir du 6 novembre 1995; il semble qu'il n'ait cependant pas perçu d'indemnités chômage, mais qu'il se soit contenté de l'aide sociale. Le 21 mars 1995, la CPEV a informé X._ qu'elle le mettait au bénéfice d'une pension d'invalidité totale à partir du 1er avril suivant. L'intéressé n'a pas accepté cette décision et n'a pas retourné à la CPEV le questionnaire sur lequel il devait indiquer le mode de paiement; les pensions ont été consignées sur un compte bancaire. Pour sa part, l'employeur a complété les prestations d'invalidité de la CPEV, du 1er avril au 31 octobre 1995, conformément aux modalités annoncées dans sa lettre (précitée) du 14 février 1995. X._ n'a par la suite pas offert ses services à la Caisse et s'est inscrit au chômage à partir du 6 novembre 1995; il semble qu'il n'ait cependant pas perçu d'indemnités chômage, mais qu'il se soit contenté de l'aide sociale. B. Le 2 mai 1996, X._ a saisi le Tribunal cantonal des assurances du canton de Vaud (ci-après: le Tribunal des assurances) d'une demande tendant à faire constater que lors de son licenciement, à fin mars 1995, il n'était pas invalide. Se fondant sur une expertise du docteur E._ du 15 décembre 1997, le Tribunal des assurances a, par jugement du 9 septembre 1999, constaté que la mise à l'invalidité du demandeur à partir du 1er avril 1995 n'était pas justifiée, car elle était "dictée davantage par le souci de mettre fin au conflit de travail existant entre (l'intéressé) et son employeur que par une atteinte à la santé mentale (...)." Se fondant sur une expertise du docteur E._ du 15 décembre 1997, le Tribunal des assurances a, par jugement du 9 septembre 1999, constaté que la mise à l'invalidité du demandeur à partir du 1er avril 1995 n'était pas justifiée, car elle était "dictée davantage par le souci de mettre fin au conflit de travail existant entre (l'intéressé) et son employeur que par une atteinte à la santé mentale (...)." C. Entre-temps, par demande du 5 juin 1998, complétée le 19 août 2002, X._ a ouvert action contre la Caisse devant la Cour civile du Tribunal cantonal du canton de Vaud (ci-après: la Cour civile). Il a conclu, sous suite de frais et dépens, à ce qu'il soit "constaté qu'il était apte à travailler à temps complet dès septembre 1994 et qu'il le reste à ce jour", ainsi qu'au versement par la Caisse, au titre des salaires dus depuis ce moment jusqu'à sa retraite, d'une somme de 416'758 fr. 85 avec intérêts à 5 % l'an dès le dépôt de sa demande, sans préjudice des charges sociales incombant à son ancien employeur en vertu des dispositions légales et contractuelles applicables. Pour l'essentiel, il faisait valoir que la lettre précitée de l'employeur du 14 février 1995 ne constituait pas une résiliation valable des rapports de travail au sens de l'art. 42 du règlement du 1er mars 1985 relatif au statut du personnel de la Caisse (ci-après cité: le Règlement), au motif, notamment, qu'il n'était pas invalide à l'époque de son licenciement. La Caisse a conclu au rejet de la demande. Par jugement du 6 juillet 2005, la Cour civile a condamné la Caisse à payer 14'504 fr. 75 en faveur du demandeur, sous déduction des charges sociales, avec intérêts à 5% l'an dès le 1er juin 1995. Cette somme représente les salaires dus pour les mois d'avril et de mai 1995, y compris la part au 13ème salaire, les juges ayant estimé que ces mois, compris dans le délai de résiliation prévu à l'art. 38 (recte: 42) du Règlement n'avaient pas été indemnisés. Pour le surplus, la Cour civile a rejeté les prétentions du demandeur. Le recours formé par le demandeur contre le jugement précité de la Cour civile a été rejeté par arrêt du 13 février 2006 de la Chambre des recours du Tribunal cantonal du canton de Vaud (ci-après: la Chambre des recours). Le recours formé par le demandeur contre le jugement précité de la Cour civile a été rejeté par arrêt du 13 février 2006 de la Chambre des recours du Tribunal cantonal du canton de Vaud (ci-après: la Chambre des recours). D. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt précité de la Chambre des recours, sous suite de frais et dépens. Il se plaint d'arbitraire (art. 9 Cst.) dans l'application de l'art. 42 du Règlement ainsi que dans l'appréciation des preuves et des faits. Il invoque également une violation de son droit d'être entendu. La Caisse conclut au rejet du recours sous suite de frais et dépens, tandis que la Chambre des recours se réfère aux considérants de son arrêt. 