Faits: A. Né en 1968, X._ a travaillé pour le Service public de l'emploi du canton de Fribourg en qualité de comptable, respectivement de secrétaire-comptable du 1er janvier 1996 au 4 juillet 2003. Il n'a pas obtenu la reconnaissance officielle d'agent des services publics en raison d'absences répétées liées à son état de santé et de prestations insuffisantes. Le 2 juin 2000, il a fait l'objet d'un avertissement, après avoir été plusieurs fois remis à l'ordre par ses supérieurs. B. Le 25 février 2003, les membres de la direction du Service public de l'emploi ont déposé une plainte pénale contre inconnu à la suite de courriers anonymes adressés en février 2003 au Conseiller d'Etat Y._, qui contenaient des propos attentatoires à leur honneur. Le Juge d'instruction chargé de la procédure a décerné des mandats de visite domiciliaire, perquisition et séquestre, ainsi qu'un mandat d'amener à l'encontre de X._, qui devait être entendu en qualité de personne appelée à fournir des renseignements. Ces mandats ont été exécutés le 13 mars 2003 par la police. Le lendemain, soit par courrier du 14 mars 2003, le Juge d'instruction a informé X._ que les investigations n'avaient pas donné de résultat et, depuis cette date, plus aucune mesure n'a été ordonnée. La procédure pénale a ensuite été classée, par ordonnance du 23 avril 2004. X._ a reçu cette décision en qualité de personne appelée à fournir des renseignements et contre laquelle aucune procédure pénale n'avait été ouverte. C. Le 28 mai 2003, le supérieur de X._ a informé l'intéressé que son poste de secrétaire-comptable allait être supprimé avec effet au 31 décembre 2003 et que son licenciement serait prononcé pour la même date, le versement d'une indemnité pour suppression de poste lui étant toutefois assuré. Il lui a cependant proposé de travailler auprès de la Caisse publique de chômage jusqu'à la fin de l'année, dans l'optique d'être engagé comme taxateur à partir du 1er janvier 2004, si son travail donnait satisfaction. Par décision du 30 juin 2003, le Conseiller d'Etat directeur de l'économie et de l'emploi a résilié les rapports de service de X._ avec effet au 31 décembre 2003 et pris acte que ce dernier avait accepté son transfert auprès de la Caisse de chômage, afin d'y être formé comme taxateur. Le 7 juillet 2003, il a précisé à l'intéressé que les rapports de service restaient maintenus auprès du Service public de l'emploi jusqu'à la fin de l'année et qu'il ferait l'objet de deux évaluations, l'une à fin septembre et l'autre à mi-décembre 2003. Si son travail donnait satisfaction, un nouvel engagement lui serait proposé. Dans le cas contraire, les rapports de service se termineraient comme prévu et une indemnité égale à cinq salaires mensuels lui serait versée. Les décisions du 30 juin et 7 juillet 2003 sont entrées en force. Le 7 juillet 2003, X._ a commencé par travailler dans le secteur "constitution" de la Caisse publique de chômage. Le premier rapport d'évaluation du 2 octobre 2003 indiquait que ses compétences étaient, pour l'essentiel, conformes aux exigences. A partir du 6 octobre 2003, il a été affecté au secteur "taxation". Les 13 et 21 octobre, X._ a exprimé à l'administrateur de la Caisse de chômage son désir de travailler à nouveau dans le secteur "constitution", qui lui semblait plus approprié. Par décision du 23 octobre 2003, l'administrateur a décidé de mettre un terme à l'évaluation et à la formation de l'intéressé en qualité de taxateur et de le réintégrer avec effet immédiat dans le secteur "constitution". Il a indiqué qu'il n'entrait pas en matière sur la demande de X._ d'être engagé comme taxateur dans le secteur "constitution", en raison de la difficulté rencontrée par celui-ci de gérer les volumes de travail dans des situations opérationnelles usuelles. Lors de l'entretien de qualification du 15 décembre 2003, l'administrateur a relevé que X._ ne répondait pas aux exigences de la fonction. Le 17 décembre 2003, X._ a été informé que la Caisse de chômage ne pouvait pas proposer son engagement en qualité de taxateur, de sorte que ses rapports de service prendraient fin au 31 décembre 2003; l'indemnité de suppression de poste lui a été versée. D. Le 6 avril 2004, X._ a indiqué au Conseiller d'Etat son intention d'ouvrir une action en responsabilité contre l'Etat de Fribourg. Il a fait valoir des prétentions à hauteur de 100'000 fr., en se plaignant de l'attitude de la Caisse de chômage, qui était la conséquence de son renvoi, et des mesures d'instruction prises à son encontre, qui l'avaient traumatisé, lui et sa famille. Le Conseiller d'Etat a contesté toute responsabilité le 11 octobre 2004. E. Le 13 avril 2005, X._ a ouvert une action en responsabilité contre l'Etat de Fribourg auprès du Tribunal administratif fribourgeois (Tribunal cantonal depuis le 1er janvier 2008), en concluant au versement de 13'881 fr. pour perte de salaire, 12'702 fr. à titre d'indemnité pour résiliation injustifiée et 15'000 fr. pour tort moral. Il a en outre demandé le versement d'une contribution LPP et la part des assurances sociales pour la période allant du 1er janvier au 31 octobre 2004, dès lors qu'il avait retrouvé un emploi à partir du 15 novembre 2004. Il a fondé sa demande sur deux causes distinctes, à savoir le comportement du Juge d'instruction et le fait de la Caisse de chômage. Par arrêt du 28 mai 2009, la Ie Cour administrative du Tribunal cantonal a rejeté l'action, sous suite de frais. F. X._ forme un recours en matière de droit public auprès du Tribunal fédéral contre cet arrêt. Il conclut, sous suite de frais et dépens, à l'admission du recours et à ce que la décision entreprise soit réformée en ce sens que l'Etat de Fribourg est condamné à lui payer la somme de 13'881 fr. à titre de perte de salaire, à verser sur son fonds de prévoyance la contribution LPP et assurances sociales pour la période allant du 1er janvier au 31 octobre 2004, à lui allouer la somme de 12'702 fr. à titre d'indemnité pour résiliation injustifiée, ainsi que 15'000 fr. pour tort moral. Subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi à l'instance inférieure pour qu'elle statue dans le sens des considérants. Le Tribunal cantonal se réfère aux considérants de son arrêt et conclut au rejet du recours. Le Conseil d'Etat du canton de Fribourg propose le rejet du recours dans la mesure de sa recevabilité. 