Faits: Faits: A. X._ exploite une étude d'avocats et notaire à A._, en association avec Z._. Comme employeur, il est tenu de verser des contributions à la Caisse d'allocations familiales Y._ (ci-après: la Caisse), à Sion. A ce titre, la Caisse lui a ainsi réclamé 2'388 fr. 35 pour 2001 et 2'755 fr. 15 pour 2002. X._ ayant appris que certains employeurs bénéficiaient d'un taux de faveur de 1,6%, il a demandé à la Caisse, par courrier du 28 novembre 2001, qu'en vertu du principe d'égalité ses contributions soient calculées au même taux. La Caisse a rejeté cette requête par lettre du 3 décembre 2001. Dans un courrier du 6 décembre 2001, X._ a offert que ses contributions soient calculées au taux de 2%. Par décision du 7 décembre 2001, la Caisse a rejeté cette proposition en rappelant que le taux avait été fixé à 3,2% pour tous les employeurs affiliés à elle. Dans un courrier du 6 décembre 2001, X._ a offert que ses contributions soient calculées au taux de 2%. Par décision du 7 décembre 2001, la Caisse a rejeté cette proposition en rappelant que le taux avait été fixé à 3,2% pour tous les employeurs affiliés à elle. B. Le 8 janvier 2002, X._ - qui agissait, en tant que besoin, également au nom de son associée Z._ -, a déféré cette décision au Tribunal cantonal des assurances du canton du Valais (ci-après: le Tribunal cantonal). Il a conclu principalement à la constata- tion de la nullité de la décision et subsidiairement à son annulation, le tout sous suite de frais et dépens. A l'appui de son recours, il a produit notamment la copie d'une décision du Conseil d'Etat du canton du Valais du 3 janvier 1952, selon laquelle les hôpitaux régionaux ne remplissaient pas toutes les conditions pour être exemptés des contributions en matière d'allocations familiales, mais pouvaient être mis au bénéfice d'un taux de contribution réduit. Par arrêt du 26 mars 2003, le Tribunal cantonal a déclaré le recours irrecevable et renoncé à percevoir un émolument. Il a considéré en bref que la question des taux préférentiels, comme celle de l'exonération des contributions, était de nature politique et ressortissait au Conseil d'Etat. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt attaqué. Il se plaint d'arbitraire et d'un déni de justice formel. La Caisse conclut à l'admission du recours, alors que le Tribunal cantonal renonce à se déterminer en renvoyant à la décision attaquée. Dans sa détermination, la Caisse a relevé que, par décision du 19 décembre 2001 prenant effet le 1er janvier 2002, le Conseil d'Etat avait annulé sa décision du 3 janvier 1952, précitée. Cette décision était liée à la révision de la loi valaisanne du 20 mai 1949 sur les allocations familiales aux salariés et sur le fonds cantonal pour la famille (RS/VS 836.2; ci-après: la loi), qui tendait notamment à réduire les écarts des taux de contribution entre les caisses. A la demande du Président de la Cour de céans, X._ a indiqué par courrier du 26 juin 2003 qu'il maintenait son recours. 