Faits: Faits: A. X._, ressortissant du Kosovo né le 11 octobre 1967, est entré en Suisse en 1990 et a déposé une demande d'asile le 3 décembre 1993, sur laquelle l'Office fédéral des réfugiés n'est pas entré en matière. De retour en Suisse en décembre 1994, X._ s'est marié, le 13 janvier 1995, avec Y._, ressortissante suisse, née en 1946, domiciliée à Z._. Dès le mois d'octobre 1998 l'intéressé a travaillé comme infirmier dans un home médicalisé, à Neuchâtel, où il a pris un domicile séparé. Le 22 mars 2002, les autorités neuchâteloises ont refusé de renou- veler l'autorisation de séjour de X._ et de lui délivrer un permis d'établissement pour le motif qu'il invoquait abusivement son mariage avec une Suissesse. Le Département de police du canton de Fribourg a toutefois admis la requête de même nature déposée par l'intéressé, par décision du 16 février 2001. Le 22 mars 2002, les autorités neuchâteloises ont refusé de renou- veler l'autorisation de séjour de X._ et de lui délivrer un permis d'établissement pour le motif qu'il invoquait abusivement son mariage avec une Suissesse. Le Département de police du canton de Fribourg a toutefois admis la requête de même nature déposée par l'intéressé, par décision du 16 février 2001. B. Le divorce des époux X-Y._ a été prononcé le 14 novembre 2001. X._ a ensuite épousé, le 30 avril 2002, sa compatriote A._, avec laquelle il avait eu quatre enfants, B._, née le 10 juillet 1995, les jumelles C._ et D._, nées le 14 septembre 1996, la dernière prénommée étant décédée accidentellement en 1999, et E._, né le 21 janvier 2001. Le 17 mai 2002, il a déposé une demande de regroupement familial pour sa femme et ses trois enfants. Par décision du 24 septembre 2002, le Département de la police a révoqué l'autorisation d'établissement de X._ et refusé l'entrée en Suisse, au titre de regroupement familial de sa femme et de ses enfants. Par décision du 24 septembre 2002, le Département de la police a révoqué l'autorisation d'établissement de X._ et refusé l'entrée en Suisse, au titre de regroupement familial de sa femme et de ses enfants. C. Saisi d'un recours déposé par X._ contre cette décision, le Tribunal administratif du canton de Fribourg l'a rejeté, par arrêt du 18 mars 2004. Il a considéré en bref que le recourant avait sciemment dissimulé des faits essentiels afin d'obtenir son permis d'établissement et avait induit l'autorité de première instance en erreur, en se prévalant de manière abusive de son union avec son épouse suisse. Partant, la juridiction cantonale a estimé que la révocation du permis d'établis- sement et le refus d'autorisation au titre de regroupement familial en faveur de l'épouse du recourant et de ses trois enfants respectait les principes de la légalité et de la proportionnalité. C. Saisi d'un recours déposé par X._ contre cette décision, le Tribunal administratif du canton de Fribourg l'a rejeté, par arrêt du 18 mars 2004. Il a considéré en bref que le recourant avait sciemment dissimulé des faits essentiels afin d'obtenir son permis d'établissement et avait induit l'autorité de première instance en erreur, en se prévalant de manière abusive de son union avec son épouse suisse. Partant, la juridiction cantonale a estimé que la révocation du permis d'établis- sement et le refus d'autorisation au titre de regroupement familial en faveur de l'épouse du recourant et de ses trois enfants respectait les principes de la légalité et de la proportionnalité. D. Agissant par le voie du recours de droit administratif, X._ conclut, avec suite de dépens, à l'annulation de l'arrêt du Tribunal administratif du 18 mars 2004. Il se plaint d'une constatation manifestement inexacte ou incomplète de faits pertinents, de l'abus et l'excès de pouvoir d'appréciation des juges cantonaux, ainsi que d'une violation du principe de la bonne foi. Le recourant demande aussi que l'effet suspensif soit attribué à son recours. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures et à demander le dossier cantonal. 