Faits: A. Le 30 avril 1993, dans le cadre d'une enquête pénale dirigée à l'encontre de C._, celui-ci a déclaré qu'un dessous-de-table avait été versé lors d'une transaction immobilière à laquelle participait D._. Soupçonnant ce dernier d'obtention frauduleuse d'une constatation fausse, le Juge d'instruction itinérant du canton de Fribourg F._ (ci-après: le Juge d'instruction) a mis D._, ainsi que certains de ses proches, sur écoute téléphonique du 22 septembre au 5 novembre, puis du 10 novembre au 20 décembre 1993. Cette mesure de surveillance a été approuvée par le Président de la Chambre d'accusation du Tribunal cantonal fribourgeois G._ le 24 septembre 1993. Elle a permis au Juge d'instruction d'apprendre qu'une serviette de documents - contenant, notamment, des informations sur des placements en actions et obligations effectués par D._ - se trouvait chez un de ses amis domicilié dans le canton de Neuchâtel. Le 17 novembre 1993, ces documents ont été saisis lors d'une perquisition effectuée à la demande du Juge d'instruction par les autorités neuchâteloises compétentes. Le 14 décembre 1993, le Service cantonal des contributions du canton de Fribourg a répondu favorablement à la requête du Juge d'instruction demandant la transmission des dossiers fiscaux de D._, de ses enfants, B._ et A._, ainsi que de quatre sociétés. Le 17 décembre 1993, le Juge d'instruction a communiqué au fisc les documents saisis dans le canton de Neuchâtel qui, à son avis, présentaient "quelques points forts étranges" méritant un examen approfondi. Le 26 janvier 1994, le Service cantonal des contributions a averti D._ de l'existence d'importantes différences entre ses déclarations fiscales et les pièces qui lui avaient été transmises par le Juge d'instruction. D._ s'est donné la mort le 20 avril 1994. Le 8 juillet 1994, le Service cantonal des contributions a formellement ouvert à l'encontre de la "succession de D._" une procédure pour soustraction fiscale au sens de l'art. 167 de la loi fribourgeoise du 7 juillet 1972 sur les impôts cantonaux (ci-après: LIC) et de l'art. 132 de l'ancien arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral direct. Statuant le 27 septembre 1994 sur le recours déposé, notamment, par B._ et A._ à l'encontre d'une décision du Juge d'instruction refusant de leur communiquer certaines pièces du dossier pénal, la Chambre d'accusation du Tribunal cantonal a estimé que les écoutes téléphoniques effectuées étaient justifiées. Le 4 octobre 1995, elle a déclaré irrecevable une demande de révision de cet arrêt, considérant au surplus que si elle avait été recevable, cette demande aurait dû être rejetée. Aucun recours n'a été interjeté à l'encontre de ces deux arrêts. B. Le 18 avril 1995, B._ et A._ ont déposé devant le Conseil d'Etat du canton de Fribourg une demande préalable d'indemnisation, en concluant que l'Etat de Fribourg renonce à toute créance fiscale envers eux en ce qui concerne les impôts dus par la succession D._ (soit 3'390'420 fr. 50), en raison de l'utilisation par le fisc de moyens de preuve obtenus illégalement, soit dans le cadre de mises sur écoutes téléphoniques injustifiées ordonnées par le Juge d'instruction. Aucune indemnité à titre de réparation du tort moral n'a été réclamée. (Ces prétentions ont été rejetées par le Conseil d'Etat le 24 avril 1998). C. Le 16 mai 1997, estimant que D._ avait commis des soustractions fiscales consommées en ne déclarant pas certains capitaux, leurs rendements ainsi que d'autres actifs, le Service cantonal des contributions a réclamé à ses héritiers le paiement de rappels d'impôts s'élevant à 1'363'810 fr. 95 pour les impôts cantonaux des périodes fiscales 1983-1984 à 1993-1994 et à 479'374 fr. 90 pour l'impôt fédéral direct des périodes fiscales 1989-1990 à 1993-1994. Le 21 mai 1997, la commune de Bulle a astreint lesdits héritiers au paiement de rappels d'impôts communaux s'élevant à 1'207'509 fr. 50 pour les périodes fiscales 1983-1984 à 1993-1994. Cette taxation n'a apparemment pas été attaquée. Le 17 octobre 1997, le Service cantonal des contributions a rejeté la réclamation des intéressés en ce qui concerne les rappels d'impôts cantonaux; il a en revanche partiellement admis leur réclamation en matière d'impôt fédéral direct, ramenant les rappels d'impôts à 467'425 fr. 90. Par arrêt du 9 octobre 1998, la Cour fiscale du Tribunal administratif a rejeté le recours déposé par les enfants de D._ contre la décision du 17 octobre 1997 du Service cantonal des contributions. Elle a notamment considéré qu'elle était liée par les deux arrêts rendus les 27 septembre 1994 et 4 octobre 1995 par la Chambre d'accusation du Tribunal cantonal qui étaient entrés en force, ne souffraient "prima facie d'aucune informalité manifeste" et n'avaient pas été remis en cause devant le Tribunal fédéral. Elle n'avait dès lors pas à examiner la légalité des écoutes téléphoniques ordonnées par le Juge d'instruction. De surcroît, la saisie de documents effectuée par les autorités pénales neuchâteloises n'avait fait l'objet d'aucune "voie de droit qui eût démontré son éventuelle illégalité". B._ et A._ ont recouru contre cet arrêt du 9 octobre 1998. Par un seul et même arrêt du 31 janvier 2000, le Tribunal fédéral a rejeté le recours de droit administratif (2A.568/1998) dans la mesure où il était recevable s'agissant des rappels de l'impôt fédéral direct et le recours de droit public (2P.411/1998) dans la mesure où il était recevable pour ce qui est des rappels des impôts cantonaux. D. Le 17 juillet 1998, B._ et A._, en tant qu'"ayants cause de feu leur père", ainsi que A._ à titre personnel, avaient parallèlement déposé devant le Tribunal fédéral une demande en dommages-intérêts à l'encontre du canton de Fribourg. Ils concluaient principalement au versement d'un montant de 3'038'746 fr. 35, avec intérêts à 5% l'an dès le trentième jour à compter de la communication du jugement motivé (chiffre I) (ce qui correspond au montant total litigieux des rappels de l'impôt fédéral direct [467'425 fr. 90], des impôts cantonaux [1'363'810 fr. 95] et communaux [1'207'509 fr. 50]). Ils réclamaient en outre une somme de 300'000 fr., avec intérêts à 5 % l'an dès le 20 avril 1994 (chiffre II), sans toutefois en préciser le fondement juridique. Quant à A._, il concluait, à titre personnel, au paiement d'un montant de 50'000 fr., avec intérêts à 5 % l'an dès le 22 septembre 1993 (chiffre III), dont la justification ne se trouve pas non plus dans la procédure. Le défendeur a conclu à l'irrecevabilité de la demande, subsidiairement à son rejet. Lors d'un second échange d'écritures, les parties ont confirmé leurs conclusions respectives. E. Le 28 avril 2000, les demandeurs ont requis la récusation des juges de la IIe Cour de droit public - laquelle est compétente pour connaître de leur action en responsabilité - dans la mesure où elle s'était déjà prononcée sur leur affaire fiscale faisant l'objet de l'arrêt du 31 janvier 2000. Par décision du 23 mai 2000 (1C.1/2000), la Ie Cour de droit public du Tribunal fédéral a rejeté cette demande de récusation dans la mesure où elle était recevable. F. Par ordonnance du 4 janvier 2001, le Juge délégué de la IIe Cour de droit public a décidé de suspendre la procédure 2C.5/1998 jusqu'à droit connu sur la procédure introduite par les demandeurs devant la Cour européenne des droits de l'homme à l'encontre de la décision du 23 mai 2000 relative à la récusation. Le 6 mai 2004, l'instruction 2C.5/1998 a été reprise à la suite de l'avis de la Cour européenne des droit de l'homme du 14 avril 2004 déclarant irrecevable la requête déposée par les demandeurs. G. Lors de l'audience de débats préparatoires du 29 juin 2004, l'avocat des demandeurs a notamment précisé que la conclusion II tendant au paiement d'un montant de 300'000 fr. était justifiée par les divers frais (avocat, expertises etc.) engagés dans la procédure, alors que la conclusion III (50'000 fr.) concernait la réparation du tort moral. Le défendeur a conclu au rejet de la conclusion I (principale), ainsi qu'à l'irrecevabilité des conclusions II et III dans la mesure où celles-ci n'avaient pas été soumises préalablement au Conseil d'Etat. Par ordonnance du 1er juillet 2004, le Juge délégué a notamment indiqué qu'il paraissait opportun de limiter, dans un premier temps, l'instruction à la question de savoir notamment si le Tribunal fédéral pouvait revoir la légalité d'une décision entrée en force dans le cadre d'une action en responsabilité. Les parties ont été avisées de la clôture de la procédure préparatoire, en l'état. H. Par ordonnance présidentielle du 11 octobre 2004, il a été pris acte de la renonciation expresse et commune des parties à des débats publics (oraux) avec plaidoiries et à la notification orale du dispositif de l'arrêt dans la procédure relative à l'exception tirée de l'autorité de la chose jugée. 