Sachverhalt: A. Mit Einspracheentscheid vom 3. September 2012 hob die AXA Versicherungen AG (kurz: AXA) die seit 1. Oktober 1993 an A._ wegen der Folgen eines Ende 1990 erlittenen Unfalls ausgerichtete Invalidenrente rückwirkend auf Ende Februar 2012 auf. B. Dagegen liess A._ am 4. Oktober 2012 mit Postadresse Schönengrund beim Obergericht Appenzell Ausserrhoden Beschwerde erheben. Mit Entscheid vom 19. Juni 2013 bestätigte das Gericht den Einspracheentscheid. C. Mit Eingabe vom 28. Oktober 2013 lässt A._ beim Bundes-gericht die Aufhebung des vorinstanzlichen Entscheids beantragen. Am 28. Januar 2014 reicht er dem Bundesgericht zusätzlich den Entscheid O3V 13 46 vom 22. Januar 2014 des Obergerichts Appenzell Ausserrhoden ein. Darin tritt das kantonale Gericht auf die bei ihm ebenfalls von A._ gegen die SUVA wegen der Folgen eines anderen Unfalls anhängig gemachte UVG-Rentenstreitigkeit mit der Begründung nicht ein, der Wohnsitz des Beschwerde führenden Versicherten befände sich im Kanton St. Gallen, weshalb das Versicherungsgericht des Kantons St. Gallen zur materiellen Beurteilung der Angelegenheit zuständig sei. Gleichzeitig überwies es die Angelegenheit an dieses Gericht. Das Bundesgericht ordnet daraufhin einen Schriftenwechsel an. Die AXA schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei; eventualiter sei die Angelegenheit in Aufhebung des vorinstanzlichen Entscheids an das Versicherungsgericht des Kantons St. Gallen zu überweisen. Das Bundesamt für Gesundheit verzichtet auf eine Stellungnahme. 