Faits: Faits: A. Lors d'un cours de répétition accompli en juillet 1975, W._, né en 1953, a fait une chute entraînant une contusion du genou gauche. Quelques années plus tard, en juillet 1981, à l'occasion d'un autre cours de répétition, le prénommé s'est à nouveau blessé au genou gauche (entorse). En mars 1984, il a dû se soumettre à une intervention chirurgicale qui a révélé une hypertrophie du corps de Hoffa. Cette opération a été prise en charge par l'assurance militaire qui a admis une corrélation entre le diagnostic posé et l'accident survenu en juillet 1981. W._ a encore subi deux accidents dans la vie civile - en 1987, une entorse au genou droit et le 27 décembre 2000, une contusion sévère aux deux genoux -, qui ont été pris en charge par la Caisse nationale suisse en cas d'accidents (CNA). A l'issue de l'instruction médicale, la CNA est parvenue à la conclusion que le dernier accident avait aggravé de manière définitive les lésions aux genoux préexistantes et a reconnu à l'assuré une invalidité partielle (50 %). Le 4 avril 2002, l'assureur-accidents s'est adressée à l'Office fédéral de l'assurance militaire (aujourd'hui faisant partie de la CNA; ci-après : l'OFAM) l'informant que d'après son service médical, les lésions actuelles de W._ au genou gauche étaient en partie imputables à l'accident survenu lors du cours de répétition de 1981 (à raison de 25 % de l'invalidité globale). L'OFAM a convenu que sa responsabilité était engagée dans cette mesure. Par décision du 9 décembre 2002, la CNA a notamment octroyé à l'assuré, avec effet au 1er novembre 2002, une rente d'invalidité LAA d'un montant mensuel de 2'164 fr., correspondant aux trois quarts de la rente totale d'un taux de 50 %. L'Office AI du canton du Valais lui a également alloué une rente, fondée sur un degré d'invalidité de 50 %, dès le 1er mars 2002 (décision du 5 mai 2003). Par décision du 3 juin 2003, l'OFAM a informé W._ qu'il avait en principe droit à une rente d'invalidité de l'assurance-militaire de 25 % dès le 1er novembre 2002, mais que cette rente était réduite à 0 fr. pour cause de surindemnisation; dans son calcul global, l'OFAM a pris en considération la totalité des rentes accordées au prénommé (assurance-militaire, assurance-invalidité et assurance-accidents). Saisi d'une opposition, il l'a écartée dans une nouvelle décision du 2 septembre 2003. Par décision du 3 juin 2003, l'OFAM a informé W._ qu'il avait en principe droit à une rente d'invalidité de l'assurance-militaire de 25 % dès le 1er novembre 2002, mais que cette rente était réduite à 0 fr. pour cause de surindemnisation; dans son calcul global, l'OFAM a pris en considération la totalité des rentes accordées au prénommé (assurance-militaire, assurance-invalidité et assurance-accidents). Saisi d'une opposition, il l'a écartée dans une nouvelle décision du 2 septembre 2003. B. Par jugement du 16 novembre 2004, le Tribunal cantonal valaisan des assurances a rejeté le recours contre cette décision formé par l'assuré. B. Par jugement du 16 novembre 2004, le Tribunal cantonal valaisan des assurances a rejeté le recours contre cette décision formé par l'assuré. C. W._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation. Sous suite de dépens, il conclut à ce que le calcul de la surindemnisation tienne compte des rentes allouées par l'assurance-invalidité et l'assurance militaire, à l'exception de celle versée par l'assurance-accidents. Pour sa part, l'OFAM conclut au rejet du recours. 