Sachverhalt: A. Bei D._, geboren 2006, kam es Mitte Oktober 2011 in der Folge einer Erkältung zu einem sich rasch verschlechternden Allgemeinzustand mit verschiedenen Symptomen (unter anderem einem leichten Meningismus und Ateminsuffizienz), weshalb er am 18. Oktober 2011 in die Intensivstation des Spitals X._ (nachfolgend: Kinderspital) eingeliefert werden musste, wo ein Guillain-Barré-Syndrom mit entzündlichen Veränderungen des peripheren Nervensystems diagnostiziert wurde. Nachdem er bis zum 22. November 2011 im Kinderspital hospitalisiert blieb, musste er vom 22. November bis 6. Dezember 2011 stationär im Rehabilitationszentrum des Spitals Y._ (nachfolgend: Rehabilitationszentrum) betreut werden. Anschliessend benötigte er ambulante Physiotherapie. Im Auftrag der zuständigen Krankenpflegeversicherung - der CONCORDIA Schweizerische Kranken- und Unfallversicherung AG (nachfolgend: CONCORDIA oder Beschwerdeführerin) - liess D._ am 29. November 2011 durch seinen Vater bei der IV-Stelle des Kantons Appenzell Innerrhoden (nachfolgend: IV-Stelle oder Beschwerdegegnerin) medizinische Eingliederungsmassnahmen beantragen. Nach dem Beizug verschiedener medizinischer Berichte kündigte die IV-Stelle mit Vorbescheid vom 28. März 2012 für die Dauer vom 6. Dezember 2011 bis 31. Dezember 2012 die Übernahme von maximal zwei bis drei Physiotherapiesitzungen pro Woche an. Mit Stellungnahme vom 20. April 2012 ersuchte die CONCORDIA demgegenüber zusätzlich um vollumfängliche Übernahme des stationären Rehabilitationsaufenthalts vom 22. November bis 6. Dezember 2011. Nach Kenntnisnahme von weiteren Untersuchungsberichten verneinte die IV-Stelle einen Anspruch auf medizinische Massnahmen, weil sowohl der Rehabilitationsaufenthalt als auch die ambulante Physiotherapie der Leidensbehandlung an sich dienten (Verfügung vom 2. Juli 2012). B. Die hiegegen erhobene Beschwerde der CONCORDIA wies das Kantonsgericht Appenzell Innerrhoden mit Entscheid vom 20. November 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt die CONCORDIA unter Aufhebung des angefochtenen Gerichtsentscheids und der Verfügung vom 2. Juli 2012 beantragen, die Invalidenversicherung habe sowohl die stationäre Rehabilitation als auch die anschliessende ambulante Physiotherapie als medizinische Massnahme zu übernehmen. Während das kantonale Gericht und die IV-Stelle auf Abweisung der Beschwerde schliessen, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung. 