Art. 4 und 22ter BV (Baubewilligung), hat sich ergeben: A.- I._ ist Eigentümerin der Parzelle GS Nr. 463 an der alten Landstrasse 105 in Unterägeri. Das Grundstück liegt gemäss dem kommunalen Zonenplan in der Kernzone 1 und innerhalb der Ortsbildschutzzone. Auf dem Grundstück stehen das Gasthaus K._ und ein damit durch einen Zwischenbau verbundener grösserer Schopf. Westlich davon liegt die Parzelle GS Nr. 462 von S._, die mit einem Wohnhaus und einer direkt an den Schopf von I._ angebauten Remise bebaut ist. B.- Anfang 1994 bewilligte der Gemeinderat Unterägeri ein Baugesuch von I._, welche den Schopf durch ein Wohnhaus ersetzen wollte. Der Regierungsrat des Kantons Zug hob auf Beschwerde von S._ die Baubewilligung mit Entscheid vom 24. Januar 1995 auf. Am 9. März 1998 bewilligte der Gemeinderat Unterägeri ein geändertes Bauprojekt von I._ für den Ersatz ihres Schopfes durch ein Wohnhaus. Gleichzeitig lehnte er eine neue Einsprache von S._ ab. In der Folge wies der Regierungsrat eine Beschwerde von S._ gegen das Projekt am 11. August 1998 ab. Dessen Beschwerde wurde vom Verwaltungsgericht mit Urteil vom 23. September 1999 abgewiesen. C.- S._ hat gegen das Urteil des Verwaltungsgerichts am 17. November 1999 staatsrechtliche Beschwerde beim Bundesgericht erhoben. Er beantragt die Aufhebung des Entscheides des Verwaltungsgerichts und rügt eine Verletzung von Art. 4 und 22ter der damals noch in Kraft stehenden Bundesverfassung (aBV). Auf die Begründung der Beschwerde ist, soweit erforderlich, in den Erwägungen einzugehen. I._, der Regierungsrat und das Verwaltungsgericht beantragen die Abweisung der Beschwerde. Der Gemeinderat Unterägeri hat unter Verweis auf die Stellungnahme der Beschwerdegegnerin auf Vernehmlassung verzichtet. D.- Der Präsident der I. öffentlichrechtlichen Abteilung hat der Beschwerde am 16. Dezember 1999 aufschiebende Wirkung zuerkannt. 