Sachverhalt: Sachverhalt: A. Der 1938 geborene H._ war als Kantonsschullehrer über seinen Arbeitgeber bei der Elvia Schweizerische Versicherungs-Gesellschaft (nachstehend: Elvia) obligatorisch unfallversichert. Ab November 1995 traten verschiedenartige gesundheitliche Beschwerden auf, für die H._ einen Zeckenbiss verantwortlich machte. Eine zur Abklärung und Therapie veranlasste Hospitalisation vom April 1996 führte zur Diagnose einer Borreliose bei Lyme-Disease und Verdacht auf Neuroborreliose. In der Folge wurde eine Arbeitsunfähigkeit bestätigt. Am 12. Januar 1998 wurde der Sachverhalt als Unfall an die Elvia gemeldet. Es folgten internistische, neurologische und neuropsychologische Abklärungen des sich weiter verschlechternden Gesundheitszustandes. Ab März 1999 nahm auch der von H._ aufgesuchte Dr. med. S._, Facharzt für Innere Medizin FMH, wiederholt Stellung. Dieser Arzt veranlasste eine stationäre Therapie in der Klinik A._, welche wie die weiteren Behandlungsmassnahmen zu keiner bleibenden Besserung führte. Aufgrund der unterschiedlichen Beurteilungen der beteiligten Ärzte sah sich die Allianz Suisse Versicherungs-Gesellschaft (nachstehend: Allianz) als Rechtsnachfolgerin der Elvia veranlasst, ein Gutachten des Spitals X._, Departement Innere Medizin, Abteilung Infektionskrankheiten und Spitalhygiene, vom 21. Mai 2002 einzuholen. Gestützt darauf verneinte sie ihre Leistungsflicht mangels eines natürlichen Kausalzusammenhangs zwischen versichertem Ereignis und gesundheitlicher Störung (Verfügung vom 13. August 2002). Daran hielt die Allianz auf die von H._ und seinem obligatorischen Krankenversicherer eingereichten Einsprachen hin fest (Einspracheentscheid vom 30. April 2003). A. Der 1938 geborene H._ war als Kantonsschullehrer über seinen Arbeitgeber bei der Elvia Schweizerische Versicherungs-Gesellschaft (nachstehend: Elvia) obligatorisch unfallversichert. Ab November 1995 traten verschiedenartige gesundheitliche Beschwerden auf, für die H._ einen Zeckenbiss verantwortlich machte. Eine zur Abklärung und Therapie veranlasste Hospitalisation vom April 1996 führte zur Diagnose einer Borreliose bei Lyme-Disease und Verdacht auf Neuroborreliose. In der Folge wurde eine Arbeitsunfähigkeit bestätigt. Am 12. Januar 1998 wurde der Sachverhalt als Unfall an die Elvia gemeldet. Es folgten internistische, neurologische und neuropsychologische Abklärungen des sich weiter verschlechternden Gesundheitszustandes. Ab März 1999 nahm auch der von H._ aufgesuchte Dr. med. S._, Facharzt für Innere Medizin FMH, wiederholt Stellung. Dieser Arzt veranlasste eine stationäre Therapie in der Klinik A._, welche wie die weiteren Behandlungsmassnahmen zu keiner bleibenden Besserung führte. Aufgrund der unterschiedlichen Beurteilungen der beteiligten Ärzte sah sich die Allianz Suisse Versicherungs-Gesellschaft (nachstehend: Allianz) als Rechtsnachfolgerin der Elvia veranlasst, ein Gutachten des Spitals X._, Departement Innere Medizin, Abteilung Infektionskrankheiten und Spitalhygiene, vom 21. Mai 2002 einzuholen. Gestützt darauf verneinte sie ihre Leistungsflicht mangels eines natürlichen Kausalzusammenhangs zwischen versichertem Ereignis und gesundheitlicher Störung (Verfügung vom 13. August 2002). Daran hielt die Allianz auf die von H._ und seinem obligatorischen Krankenversicherer eingereichten Einsprachen hin fest (Einspracheentscheid vom 30. April 2003). B. Die von H._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 23. Juni 2004 ab. B. Die von H._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 23. Juni 2004 ab. C. H._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, es sei die Leistungspflicht des Unfallversicherers festzustellen. Eventualiter wird die Einholung eines fachmedizinischen gerichtlichen Gutachtens und subeventualiter die Rückweisung an die Vorinstanz zur Neubeurteilung nach allfälliger Beweisergänzung beantragt. Die Allianz schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung. 