Faits: Faits: A. X._, né le 13 août 1951, a été nommé gendarme dès le 1er juillet 1972 par le Département de police, actuellement le Département de la justice, de la sécurité et des finances, du canton de Neuchâtel (ci-après : le Département cantonal). Après avoir occupé un poste de secrétaire aux archives judiciaires de la Police cantonale neuchâteloise de décembre 1993 à septembre 1998, il a été réintégré au sein de la Gendarmerie neuchâteloise à partir du 1er octobre 1998. Il a été affecté au poste de A._ en qualité de chef de groupe, puis de remplaçant du chef de poste le 1er avril 2001 et enfin en qualité de chef de poste dès le 1er octobre 2001, avec le grade de sergent-major dès le 1er janvier 2002. En automne 2002, la hiérarchie de X._ a appris que deux de ses subordonnés du poste de A._ avaient rencontré d'importantes difficultés relationnelles avec lui. Elle a alors proposé à X._ un déplacement "à l'interne" pour une mission temporaire à l'issue de laquelle serait examinée son affectation dans une nouvelle fonction n'impliquant pas de conduite de personnel. Le 30 avril 2003, le commandant de la Police cantonale neuchâteloise a demandé au Département cantonal d'ouvrir une procédure de renvoi à l'encontre de X._, qui avait refusé la mutation proposée. Par décision du 19 juin 2003, le Département cantonal a résilié les rapports de service de X._ avec effet au 30 septembre 2003 en raison des graves doléances dont il avait fait l'objet de la part de ses collaborateurs, tant au poste de B._ (cf. rapport du commandant de la Police cantonale neuchâteloise du 26 février 1993) qu'à celui de A._ (cf. lettre du Département cantonal à X._ du 7 novembre 2002). Saisi d'un recours contre la décision du Département cantonal du 19 juin 2003, le Tribunal administratif du canton de Neuchâtel (ci-après : le Tribunal administratif) l'a admis, par arrêt du 16 septembre 2003. Il a considéré que les documents mettant en évidence les conflits relationnels survenus au poste de A._ ne constituaient que des allégations qu'il appartenait au Département cantonal de vérifier. Il a en outre précisé qu'il convenait de ne pas écarter la procédure de l'avertissement préalable. Saisi d'un recours contre la décision du Département cantonal du 19 juin 2003, le Tribunal administratif du canton de Neuchâtel (ci-après : le Tribunal administratif) l'a admis, par arrêt du 16 septembre 2003. Il a considéré que les documents mettant en évidence les conflits relationnels survenus au poste de A._ ne constituaient que des allégations qu'il appartenait au Département cantonal de vérifier. Il a en outre précisé qu'il convenait de ne pas écarter la procédure de l'avertissement préalable. B. Chargé de l'instruction du dossier, le Service juridique du canton de Neuchâtel (ci-après: le Service juridique) a procédé à l'audition de quatre témoins. Par décision du 28 septembre 2004, le Département cantonal a résilié les rapports de service de X._ avec effet au 31 décembre 2004. Il a estimé que le comportement de X._ excluait la poursuite des rapports de service et qu'un avertissement ne pouvait pas entrer en considération dès lors que seule était en cause l'attitude de l'intéressé dans la gestion du personnel. X._ a déposé un deuxième recours, contre la décision du Département cantonal du 28 septembre 2004, auprès du Tribunal administratif. Par arrêt du 20 janvier 2005, celui-ci a admis le recours et renvoyé à nouveau la cause au Département cantonal pour qu'il établisse rigoureusement les faits, en particulier qu'il vérifie la réalité des reproches formulés à l'encontre de X._ et qu'il détermine notamment si la détresse dans laquelle trois collaborateurs s'étaient trouvés pouvait avoir son origine dans d'autres événements. X._ a déposé un deuxième recours, contre la décision du Département cantonal du 28 septembre 2004, auprès du Tribunal administratif. Par arrêt du 20 janvier 2005, celui-ci a admis le recours et renvoyé à nouveau la cause au Département cantonal pour qu'il établisse rigoureusement les faits, en particulier qu'il vérifie la réalité des reproches formulés à l'encontre de X._ et qu'il détermine notamment si la détresse dans laquelle trois collaborateurs s'étaient trouvés pouvait avoir son origine dans d'autres événements. C. A la suite du nouvel arrêt de renvoi du 20 janvier 2005, le Service juridique a procédé à une enquête générale, sous forme de questionnaire adressé à vingt-deux collaborateurs ayant travaillé aux côtés de X._. Celui-ci a eu la possibilité de se prononcer sur les résultats de cette instruction. Puis, par décision du 27 mai 2005, le Département cantonal a résilié les rapports de service de X._ avec effet au 31 août 2005. Il a relevé que cette résiliation s'imposait en raison du climat insoutenable dans lequel X._ avait plongé les collaborateurs du poste de A._, ce qui empêchait d'envisager une réintégration de l'intéressé dans sa fonction. Saisi d'un troisième recours, contre la décision du Département cantonal du 27 mai 2005, le Tribunal administratif l'a rejeté par arrêt du 20 mars 2006. Il a retenu en substance que l'interrogatoire sous forme écrite des personnes ayant travaillé sous les ordres de X._ n'était pas critiquable et que, malgré la formulation du questionnaire qui ne respectait pas les instructions de l'arrêt de renvoi susmentionné du 20 janvier 2005, les informations recueillies répondaient partiellement à ses attentes. Ces déclarations confirmaient que le comportement de l'intéressé était à l'origine des graves difficultés d'ordre relationnel vécues par certains de ses subordonnés. Le Tribunal administratif a ensuite rappelé qu'un renvoi pour justes motifs, même en l'absence d'une faute de l'agent concerné, pouvait être fondé sur la rupture des rapports de confiance liant l'autorité à ses collaborateurs; ainsi, un juste motif pouvait être réalisé lorsqu'un fonctionnaire, par sa seule présence, perturbait la bonne marche du service. Selon le Tribunal administratif, il était vain d'accorder à X._ un délai pour s'améliorer dans la conduite du personnel dès lors que sa seule présence, en raison du climat qu'il avait instauré, était objectivement de nature à provoquer des perturbations. Saisi d'un troisième recours, contre la décision du Département cantonal du 27 mai 2005, le Tribunal administratif l'a rejeté par arrêt du 20 mars 2006. Il a retenu en substance que l'interrogatoire sous forme écrite des personnes ayant travaillé sous les ordres de X._ n'était pas critiquable et que, malgré la formulation du questionnaire qui ne respectait pas les instructions de l'arrêt de renvoi susmentionné du 20 janvier 2005, les informations recueillies répondaient partiellement à ses attentes. Ces déclarations confirmaient que le comportement de l'intéressé était à l'origine des graves difficultés d'ordre relationnel vécues par certains de ses subordonnés. Le Tribunal administratif a ensuite rappelé qu'un renvoi pour justes motifs, même en l'absence d'une faute de l'agent concerné, pouvait être fondé sur la rupture des rapports de confiance liant l'autorité à ses collaborateurs; ainsi, un juste motif pouvait être réalisé lorsqu'un fonctionnaire, par sa seule présence, perturbait la bonne marche du service. Selon le Tribunal administratif, il était vain d'accorder à X._ un délai pour s'améliorer dans la conduite du personnel dès lors que sa seule présence, en raison du climat qu'il avait instauré, était objectivement de nature à provoquer des perturbations. D. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral, avec suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 20 mars 2006. Il se plaint de la violation de l'interdiction de l'arbitraire et de garanties de procédure, plus particulièrement du droit d'être entendu ainsi que de l'indépendance et de l'impartialité du tribunal. Le Tribunal administratif et le Département cantonal concluent au rejet du recours. 