A.- Par convention du 26 mai 1995, X._ s'est associé à Bernard Rohrbasser, qui était alors préfet du district de la Veveyse, dans le but de produire et de commercialiser des sacs à ordures écologiques en jute plastifié. Aux termes de la convention, le premier nommé était responsable "des liens commerciaux avec l'usine de production", située au Viêt-nam, tandis que le second devait assurer la finition et la commercialisation des sacs à ordures; Bernard Rohrbasser s'engageait également à avancer les fonds nécessaires à la réalisation du projet. Entre juin 1994 et août 1997, X._ et Bernard Rohrbasser se sont fréquemment rencontrés pour discuter de la marche à suivre et faire le point sur l'état d'avancement du projet. Certaines de ces rencontres se sont déroulées dans les locaux de la préfecture de la Veveyse, à Châtel-St-Denis (ci-après : la préfecture). Pour les besoins du projet, X._ s'est également rendu à deux reprises au Viêt-nam, en 1995 et 1996. Ces démarches n'ont toutefois débouché sur aucune réalisation concrète et les intentions manifestées par les associés dans la convention précitée du 26 mai 1995 sont restées à l'état de simple projet. Estimant que Bernard Rohrbasser l'avait trompé par de fausses promesses répétées, X._ lui a demandé d'être indemnisé pour les dépenses engagées et le temps qu'il avait consacré au projet. Devant le refus de l'intéressé de lui donner satisfaction, X._ a mis en cause la responsabilité de l'Etat de Fribourg, en soutenant que Bernard Rohrbasser lui avait causé de manière illicite un préjudice dans l'exercice de ses fonctions de préfet de la Veveyse. Conformément à la procédure préalable instituée par la loi fribourgeoise du 16 septembre 1986 sur la responsabilité civile des collectivités publiques et de leurs agents (ci-après : LResp), il a fait valoir par écrit auprès du Conseil d'Etat du canton de Fribourg (ci-après : le Conseil d'Etat) ses prétentions financières, en chiffrant son dommage à 184'068 fr. Le 1er février 1999, le Conseil d'Etat a refusé de donner suite à cette demande. Pour l'essentiel, il a considéré que, dans le cadre de ses relations d'affaires avec X._, Bernard Rohrbasser n'avait pas agi dans l'exercice de ses fonctions de préfet de la Veveyse mais à titre purement personnel et privé, ce qui excluait toute responsabilité de l'Etat de Fribourg. B.- Le 3 août 1999, X._ a déposé auprès de la Ière Cour administrative du Tribunal administratif du canton de Fribourg (ci-après: le Tribunal administratif) une action de droit administratif tendant à ce que l'Etat de Fribourg soit condamné à lui payer 58'380 fr. avec intérêts à 5 % l'an dès le 1er janvier 1995. Il fondait son action, à titre principal, sur la responsabilité de l'Etat pour le préjudice qu'à son avis Bernard Rohrbasser lui avait causé de manière illicite comme préfet de la Veveyse; subsidiairement, il mettait en cause la responsabilité de l'Etat de Fribourg en imputant au Conseil d'Etat un manquement au devoir de surveillance que la loi fribourgeoise du 20 novembre 1975 sur les préfets (ci-après : la loi sur les préfets) lui imposait d'exercer sur Bernard Rohrbasser. Par arrêt du 21 décembre 2000, le Tribunal administratif a déclaré l'action de droit administratif irrecevable en tant qu'elle était fondée sur la responsabilité de l'Etat du fait du Conseil d'Etat et l'a rejetée en tant qu'elle portait sur la responsabilité de l'Etat du fait de l'un de ses agents en la personne de Bernard Rohrbasser, ancien préfet. C.- X._ forme un recours de droit public contre l'arrêt rendu le 21 décembre 2000 par le Tribunal administratif en concluant, sous suite de frais et dépens, à son annulation et au renvoi de la cause au Tribunal administratif pour nouvelle décision. Il se plaint d'une application arbitraire du droit cantonal et d'une violation de son droit d'être entendu. Le Tribunal administratif et le Conseil d'Etat concluent au rejet du recours. 