A.- A._ est père de deux enfants nées en 1985 et 1988. En 1992, il a été mis au bénéfice de mesures de réadaptation de l'assurance-invalidité (AI) et a ainsi perçu des indemnités journalières AI jusqu'au 31 juillet 1999. Le 18 novembre 1992, la Caisse de compensation du canton de Fribourg (ci-après: la Caisse cantonale) a dénié à la femme de l'intéressé le droit à des allocations familiales cantonales pour enfant, parce que son mari percevait des indemnités journalières AI comportant une allocation pour enfant. Cette décision n'a pas fait l'objet d'un recours. Dans le cadre des mesures de réadaptation AI, A._ a suivi, du 1er août 1995 au 31 juillet 1999, un apprentissage de dessinateur en bâtiment durant lequel il a continué à toucher des indemnités journalières AI, en plus de son salaire d'apprenti. Il s'est inscrit au chômage après son apprentissage. Le 16 septembre 1999, l'intéressé a déposé une demande d'allocations familiales. Par décision du 17 septembre 1999, la Caisse de compensation FRSP-CIFA (ci-après: la CIFA) a octroyé à A._ des allocations familiales en faveur de ses deux enfants pour la période du 1er septembre 1997 au 31 juillet 1999. Elle a considéré que les allocations familiales pour la période du 1er août 1995 au 31 août 1997 étaient prescrites selon l'art. 13 al. 2 de la loi fribourgeoise du 26 septembre 1990 sur les allocations familiales (ci-après: la loi cantonale ou LAF). Statuant le 25 octobre 1999 sur réclamation, la CIFA a confirmé sa décision du 17 septembre 1999. B.- A._ a alors porté sa cause devant la Cour des assurances sociales du Tribunal administratif du canton de Fribourg (ci-après: le Tribunal administratif) qui, par arrêt du 25 janvier 2001, a rejeté le recours dans la mesure où il était recevable. Le Tribunal administratif a notamment relevé que le paiement rétroactif d'allocations familiales au-delà de vingt-quatre mois (soit au-delà du 1er septembre 1997, cf. art. 13 al. 2 LAF) n'était possible que si l'intéressé était dans l'ignorance des faits ouvrant droit à prestations, mais pas dans celle de sa prétention juridique. En outre, A._ ne pouvait se prévaloir de la protection de la bonne foi en invoquant la confiance placée dans le maintien d'une pratique administrative longtemps suivie, mais contraire à la loi. C.- Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt rendu le 25 janvier 2001 par le Tribunal administratif et de renvoyer la cause à l'autorité intimée pour nouvelle décision dans le sens des considérants. Il invoque l'art. 9 Cst. Il se plaint en substance de violation des principes de l'interdiction de l'arbitraire et de la bonne foi. Le Tribunal administratif et la CIFA ont expressément renoncé à répondre au recours. 