Faits : Faits : A. X._, né le 20 août 1977 et domicilié à Genève, a accompli son école de recrue de 103 jours en 1999. En octobre/novembre 2001, le prénommé a effectué un cours de répétition de 19 jours. Par décision d'une commission de visite sanitaire du 4 décembre 2002, X._ a été déclaré inapte au service militaire. Il a été assujetti à la taxe d'exemption de l'obligation de servir (ci-après: la taxe) avec effet à compter de l'année 2003. Le 2 juin 2006, le Service de la taxe d'exemption de l'obligation de servir du canton de Genève (ci-après: le Service) a rendu à l'endroit de X._ une décision de taxation définitive pour chacune des années 2003 et 2004. Le 15 juin 2006, il lui a adressé un bordereau provisoire pour l'année 2005. Le 2 juin 2006, le Service de la taxe d'exemption de l'obligation de servir du canton de Genève (ci-après: le Service) a rendu à l'endroit de X._ une décision de taxation définitive pour chacune des années 2003 et 2004. Le 15 juin 2006, il lui a adressé un bordereau provisoire pour l'année 2005. B. X._ a formé une réclamation à l'encontre de ces décisions. Il s'est prévalu de l'art. 4 al. 1 lettre b de la loi fédérale du 12 juin 1959 sur la taxe d'exemption de l'obligation de servir (LTEO; RS 661), disposition en vertu de laquelle celui qui a été déclaré inapte au service ou dispensé du service parce que le service militaire a porté atteinte à sa santé est exonéré de la taxe. Il a exposé qu'il avait souffert d'une fracture de la rotule de la jambe droite durant les années 1990. Après avoir effectué son école de recrue ainsi que le premier cours de répétition, il avait dû se rendre chez un médecin orthopédiste en raison de douleurs persistantes au niveau de ce genou. Ce médecin lui avait prescrit de ne plus pratiquer d'activité physique telle que marche et course à pied et avait constaté que sa capacité physique s'était péjorée en raison du service militaire. Son dossier médical avait été transmis aux médecins militaires qui l'avaient déclaré inapte au service. Le 17 juillet 2006, le Service a rendu trois décisions se rapportant respectivement aux années 2003, 2004 et 2005, par lesquelles il a rejeté la demande d'exonération. Il s'est référé à l'avis du Médecin chef de l'arrondissement ouest des Affaires sanitaires de l'armée suisse, selon lequel l'affection ayant conduit à la dispense de service n'avait pas été aggravée, ni durablement, ni même temporairement, par le service militaire (prise de position du 10 juillet 2006). Le Service a également relevé que X._ ne s'était pas annoncé auprès de l'assurance militaire. A l'encontre de ces décisions, X._ a formé une réclamation que le Service a rejetée dans un nouveau prononcé du 18 septembre 2006. X._ a déféré cette décision au Tribunal administratif du canton de Genève. A la demande du Service, X._ a communiqué des informations supplémentaires et joint un certificat du 20 novembre 2006 de son médecin traitant, le Dr Y._, spécialiste FMH en chirurgie orthopédique. Il en ressort que celui-ci a été victime en 1992 d'une fracture de la rotule droite et que, depuis lors, il a "toujours présenté une fragilité de ce genou [...], notamment à l'effort". X._ a été traité par le praticien prénommé depuis le mois de septembre 2002. Des radiographies prises cette année-là montraient déjà une "atteinte dégénérative débutante au niveau fémoro-patellaire". Un examen clinique effectué le 10 novembre 2006 révélait une aggravation progressive de la situation, qui évoluait "vers une arthrose fémoro-patellaire". Le médecin traitant concluait en les termes suivants: "[...] je pense qu'en ce qui concerne son aptitude [de X._] au service militaire celle-ci mérite d'être reconsidérée, tout au moins en rapport avec les exercices physiques nécessitant de marcher sur de longues distances, de soulever des charges et de faire des mouvements répétitifs". A la suite de ce complément d'instruction, le Service a conclu au rejet du recours. Par arrêt du 17 avril 2007, le Tribunal administratif du canton de Genève a rejeté le recours. Selon cette autorité, le recourant n'avait pas rapporté la preuve lui incombant qu'il existait un lien de causalité entre l'aggravation de l'état de son genou droit - péjoration qui n'était en elle-même pas contestée - et les périodes de service militaire accomplies. Une telle relation de causalité ne ressortait pas du certificat médical produit et apparaissait d'autant moins probable que le recourant n'avait jamais fait état du problème avant de recevoir les décisions relatives à la taxe, soit plus de trois ans après avoir été déclaré inapte au service. En particulier, il ne s'était pas annoncé à l'assurance militaire. Par arrêt du 17 avril 2007, le Tribunal administratif du canton de Genève a rejeté le recours. Selon cette autorité, le recourant n'avait pas rapporté la preuve lui incombant qu'il existait un lien de causalité entre l'aggravation de l'état de son genou droit - péjoration qui n'était en elle-même pas contestée - et les périodes de service militaire accomplies. Une telle relation de causalité ne ressortait pas du certificat médical produit et apparaissait d'autant moins probable que le recourant n'avait jamais fait état du problème avant de recevoir les décisions relatives à la taxe, soit plus de trois ans après avoir été déclaré inapte au service. En particulier, il ne s'était pas annoncé à l'assurance militaire. C. Par acte daté du 3 mai 2007, X._ a interjeté un recours en matière de droit public à l'encontre de l'arrêt précité. Rendu attentif au fait que son courrier ne satisfaisait pas aux exigences dont la loi fédérale du 17 juin 2005 sur le Tribunal fédéral (LTF; RS 173.110) fait dépendre la recevabilité d'un tel recours, le recourant a déposé une autre écriture datée du 16 mai 2007 et remise à la poste le 18 mai 2007, soit avant l'échéance du délai de recours. L'autorité intimée s'en remet à justice quant à la recevabilité du recours; sur le fond, elle persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale cantonale genevoise ainsi que l'Administration fédérale des contributions, Section de la taxe d'exemption de l'obligation de servir, concluent toutes deux au rejet du recours, celle-là sous suite de frais. 