Faits : A. X._, domicilié dans le canton du Valais, a obtenu du Service cantonal des contributions, Office de l'impôt anticipé (ci-après: le Service cantonal), durant les années 2004 à 2006, des remboursements d'impôt anticipé en relation avec des gains de loterie et de PMU pour un montant total de 94'084.20 fr. Le 15 mars 2007, le Service cantonal lui a demandé de fournir des renseignements et des documents relatifs à deux nouvelles demandes de remboursement, datées des 31 octobre 2006 et 21 février 2007, ainsi qu'aux demandes de remboursement qui avaient déjà été traitées. L'intéressé n'ayant pas donné suite à cette requête, le Service cantonal l'a convoqué à une audition qui s'est tenue le 6 juin 2007. A cette occasion, X._ a reconnu qu'il n'était pas le propriétaire de tous les billets gagnants, mais qu'il en avait acheté de nombreux à l'extérieur du canton pour un prix de l'ordre de 50% à 60% du montant d'impôt anticipé y relatif; il a par ailleurs déclaré qu'il jouait parfois en groupe. B. Le 17 juin 2007, l'Administration fédérale des contributions (ci-après: AFC) a notifié au Service cantonal une ordonnance de réduction provisoire d'un montant de 84'675 fr. concernant X._. Ce montant représentait 90% de l'impôt anticipé qui avait été remboursé à l'intéressé pour les années 2004 à 2006 en relation avec les gains de loterie. A la suite de cette ordonnance, le Service cantonal a rendu, le 22 juin 2007, une décision par laquelle elle a exigé de X._ la restitution d'un montant de 84'675 fr. Le 25 juillet 2007, l'intéressé a interjeté recours contre cette décision auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours), concluant à l'annulation de l'obligation de restitution mise à sa charge. A l'appui de cette conclusion, il indiquait qu'il avait joué dans le cadre d'un groupement de joueurs et pensé que ses demandes de remboursement avaient été effectuées de manière conforme au droit dans ce contexte, l'autorité fiscale ne lui ayant à aucun moment signifié le contraire. Il se plaignait des modalités de l'audition du 6 juin 2007, qui l'auraient privé de ses droits de défense, et reprochait au Service cantonal de n'avoir pas motivé la quotité de 90% retenue comme correspondant au montant d'impôt anticipé à restituer. Finalement, il soutenait que ses demandes de remboursement étaient conformes aux règles applicables au gains effectués par un groupe de personnes, dès lors que tous les billets gagnants avaient été valablement joués et les gains y relatifs reportés dans des déclarations d'impôt. Au cours de l'instruction, la Commission de recours a entendu six collaborateurs du Service cantonal, sur demande de X._. Celui-ci a encore demandé par la suite l'audition de Y._, une contribuable qui avait également obtenu des remboursements d'impôt anticipé prélevé sur des gains de loterie. Dans sa décision du 20 novembre 2013, la Commission de recours a, au préalable, rejeté la demande de X._ d'entendre Y._ à titre de témoin. Sur le fond, elle a constaté que X._ n'avait pas respecté les conditions présidant aux demandes de remboursement d'impôt anticipé prélevé sur des gains de loterie, puisqu'il n'était pas propriétaire de tous les billets au moment du tirage, comme il l'avait lui-même reconnu; s'agissant par ailleurs des gains dont il prétendait qu'ils avaient été réalisés en groupe, il n'avait pas non plus suivi la procédure spécifique de remboursement prévue dans ce cas. La restitution d'impôt anticipé était donc fondée sur le principe et X._ ne pouvait pas invoquer le principe de la bonne foi pour y échapper. En ce qui concerne l'étendue de la restitution, la Commission de recours a retenu qu'elle relevait d'une estimation non critiquable de la part des autorités fiscales et qu'elle devait donc être confirmée. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision de la Commission de recours et de renvoyer la cause au Service cantonal pour nouvelle instruction et nouvelle décision dans le sens des considérants. Le Service cantonal s'est déterminé sur le recours et a conclu à son rejet. L'AFC a conclu au rejet du recours, de même que la Commission de recours, qui a déposé des observations. 