Sachverhalt: Sachverhalt: A. X._ ist Eigentümer des in der Landwirtschaftszone gelegenen, nicht landwirtschaftlich genutzten "Berghauses" auf der Unteren Scheidegg (Parz.-Nr. 000, Bezirk Schwende). Ab 1991 stellte er mehrere Baugesuche für den Umbau und die Erweiterung des Berghauses, die sämtlich - zuletzt am 7. März 1997 - bewilligt wurden. Schliesslich wurde ihm 1997 der Einbau von Sonnenkollektoren und einer Wärmepumpe mit Erdsonde bewilligt. A. X._ ist Eigentümer des in der Landwirtschaftszone gelegenen, nicht landwirtschaftlich genutzten "Berghauses" auf der Unteren Scheidegg (Parz.-Nr. 000, Bezirk Schwende). Ab 1991 stellte er mehrere Baugesuche für den Umbau und die Erweiterung des Berghauses, die sämtlich - zuletzt am 7. März 1997 - bewilligt wurden. Schliesslich wurde ihm 1997 der Einbau von Sonnenkollektoren und einer Wärmepumpe mit Erdsonde bewilligt. B. 1998 bewilligten das Bau- und Umweltdepartement und der Bezirksrat Schwende nachträglich weitere bauliche Erweiterungen und Nutzungsänderungen. Am 3. Oktober 2000 hiess das Kantonsgericht des Kantons Appenzell I.Rh., Abteilung Verwaltungsgericht, eine dagegen gerichtete Beschwerde des Schweizer Heimatschutzes und B._'s gut. Es hob die Baubewilligung auf und verpflichtete die Bauherrschaft, die widerrechtlich erstellten Bauteile zu entfernen und den Zustand der Gebäudefläche und deren Nutzung gemäss den bewilligten Plänen vom 7. Februar 1997 wieder herzustellen. Den bewilligten Einbau der Sonnenkollektoren und die Wärmepumpe mit Erdsonde klammerte es von dieser Abbruchverfügung aus, soweit sie nicht zu einer Gebäudevergrösserung führten. B. 1998 bewilligten das Bau- und Umweltdepartement und der Bezirksrat Schwende nachträglich weitere bauliche Erweiterungen und Nutzungsänderungen. Am 3. Oktober 2000 hiess das Kantonsgericht des Kantons Appenzell I.Rh., Abteilung Verwaltungsgericht, eine dagegen gerichtete Beschwerde des Schweizer Heimatschutzes und B._'s gut. Es hob die Baubewilligung auf und verpflichtete die Bauherrschaft, die widerrechtlich erstellten Bauteile zu entfernen und den Zustand der Gebäudefläche und deren Nutzung gemäss den bewilligten Plänen vom 7. Februar 1997 wieder herzustellen. Den bewilligten Einbau der Sonnenkollektoren und die Wärmepumpe mit Erdsonde klammerte es von dieser Abbruchverfügung aus, soweit sie nicht zu einer Gebäudevergrösserung führten. C. Am 28. Mai 2001 wies das Bundesgericht die gegen den verwaltungsgerichtlichen Entscheid gerichtete Verwaltungsgerichtsbeschwerde X._'s ab (1A.301/2000). In seinen Erwägungen bejahte das Bundesgericht die Verhältnismässigkeit des Abbruchbefehls (E. 6c) und wies den Einwand des Beschwerdeführers ab, die Anordnungen der Vorinstanz zur Wiederherstellung des gesetzmässigen Zustands seien widersprüchlich und unklar (E. 6d). C. Am 28. Mai 2001 wies das Bundesgericht die gegen den verwaltungsgerichtlichen Entscheid gerichtete Verwaltungsgerichtsbeschwerde X._'s ab (1A.301/2000). In seinen Erwägungen bejahte das Bundesgericht die Verhältnismässigkeit des Abbruchbefehls (E. 6c) und wies den Einwand des Beschwerdeführers ab, die Anordnungen der Vorinstanz zur Wiederherstellung des gesetzmässigen Zustands seien widersprüchlich und unklar (E. 6d). D. Am 11. Februar 2002 fasste der Bezirksrat Schwende einen Beschluss, der vom Rechtsvertreter von X._ am 20. Februar 2002 unterzeichnet wurde. Danach sollten die widerrechtlichen baulichen Erweiterungen nicht abgebrochen, sondern durch Auffüllung stillgelegt werden; gewisse Abweichungen gegenüber den eingereichten Plänen vom 7. Februar 1997 wurden als Projektänderung bewilligt. Auf Rechtsverweigerungsbeschwerde des Schweizer Heimatschutzes und B._'s hob die Standeskommission des Kantons Appenzell I.Rh. am 1. Juli 2002 den Vollzugsentscheid bzw. die Vollzugsvereinbarung auf und wies den Bezirksrat Schwende an, dafür zu sorgen, dass X._ bis zum 30. November 2002 den gesetzlichen Zustand im Sinne des Bundesgerichtsurteils bzw. der bewilligten Pläne vom 7. Februar 1997 wiederherstelle. Auf Rechtsverweigerungsbeschwerde des Schweizer Heimatschutzes und B._'s hob die Standeskommission des Kantons Appenzell I.Rh. am 1. Juli 2002 den Vollzugsentscheid bzw. die Vollzugsvereinbarung auf und wies den Bezirksrat Schwende an, dafür zu sorgen, dass X._ bis zum 30. November 2002 den gesetzlichen Zustand im Sinne des Bundesgerichtsurteils bzw. der bewilligten Pläne vom 7. Februar 1997 wiederherstelle. E. Mit Schreiben vom 2. April 2003 ersuchte X._ den Bezirksrat Schwende um Erteilung einer Baubewilligung für die mit Verfügung vom 11./20. Februar 2002 angeordneten und inzwischen ausgeführten baulichen Vorkehrungen. Am 12. Juni 2003 trat der Bezirksrat Schwende auf das Baugesuch nicht ein und traf im Rahmen einer "Vollzugsverfügung" Anordnungen zur Wiederherstellung des rechtmässigen Zustands im Wege der Ersatzvornahme. Am 12. Juni 2003 trat der Bezirksrat Schwende auf das Baugesuch nicht ein und traf im Rahmen einer "Vollzugsverfügung" Anordnungen zur Wiederherstellung des rechtmässigen Zustands im Wege der Ersatzvornahme. F. Dagegen erhoben sowohl X._ als auch B._ Rekurs bzw. Rechtsverweigerungsbeschwerde bei der Standeskommission. Diese wies am 26. August 2003 den Rekurs von X._ ab, soweit darauf einzutreten sei, und hiess die Rechtsverweigerungsbeschwerde von B._ gut. Die Standeskommission stellte fest, dass die Vollzugsverfügung des Bezirksrates Schwende vom 12. Juni 2003 nichtig sei, soweit sie nicht das Baugesuch von X._ vom 2. April 2003 zum Gegenstand habe, und wies den Bezirksrat an, die Ersatzvornahme im Sinne der Erwägungen nach Eintritt der Rechtskraft des Entscheides einzuleiten. F. Dagegen erhoben sowohl X._ als auch B._ Rekurs bzw. Rechtsverweigerungsbeschwerde bei der Standeskommission. Diese wies am 26. August 2003 den Rekurs von X._ ab, soweit darauf einzutreten sei, und hiess die Rechtsverweigerungsbeschwerde von B._ gut. Die Standeskommission stellte fest, dass die Vollzugsverfügung des Bezirksrates Schwende vom 12. Juni 2003 nichtig sei, soweit sie nicht das Baugesuch von X._ vom 2. April 2003 zum Gegenstand habe, und wies den Bezirksrat an, die Ersatzvornahme im Sinne der Erwägungen nach Eintritt der Rechtskraft des Entscheides einzuleiten. G. Gegen den Entscheid der Standeskommission erhob X._ Verwaltungsgerichtsbeschwerde an das Kantonsgericht Appenzell I.Rh. und staatsrechtliche Beschwerde an das Bundesgericht (Verfahren 1P.611/2003). Mit Verfügung vom 3. November 2003 wurde das bundesgerichtliche Verfahren bis zum Entscheid des Kantonsgerichts in der gleichen Sache sistiert. G. Gegen den Entscheid der Standeskommission erhob X._ Verwaltungsgerichtsbeschwerde an das Kantonsgericht Appenzell I.Rh. und staatsrechtliche Beschwerde an das Bundesgericht (Verfahren 1P.611/2003). Mit Verfügung vom 3. November 2003 wurde das bundesgerichtliche Verfahren bis zum Entscheid des Kantonsgerichts in der gleichen Sache sistiert. H. Mit Schreiben vom 5. Dezember 2003 ersuchte X._ das Kantonsgericht um einen Verständigungsversuch, und zwar im strittigen Bauobjekt auf der Scheidegg. Am 12. Dezember 2003 erliess Kantonsgerichtsschreiber Y._ folgende Verfügung: "In Ihrem Schreiben vom 5. Dezember 2003 ersuchen Sie in obigem Rechtsmittelverfahren um einen Verständigungsversuch unter sinngemässem Verweis auf Art. 17 VerwGG, wonach die Beschwerdeinstanz versuchen kann, eine gütliche Verständigung zu erreichen. In der Angelegenheit der Baute von X._ auf der unteren Scheidegg, Bezirk Schwende, wurde mit Bundesgerichtsurteil 1A.301/2000 vom 28. Mai 2001 das Erkenntnis- und Vollstreckungsverfahren mit dem Erlass einer Abbruch- und Wiederherstellungsverfügung letztinstanzlich rechtskräftig abgeschlossen. Diesbezüglich bleibt, von hier nicht zur Diskussion stehenden Revisionsgründen abgesehen, für das Gericht keinerlei Verhandlungsspielraum. Der vorliegend zur Hauptsache strittige Vollzug dieses rechtskräftigen Urteils eignet sich nicht für einen Verständigungsversuch im Sinne obiger Kann-Bestimmung. Das Gericht sieht deshalb davon ab, in diesem Verfahren einen Verständigungsversuch durchzuführen. " Das Gericht sieht deshalb davon ab, in diesem Verfahren einen Verständigungsversuch durchzuführen. " I. Darauf wandte sich der Rechtsvertreter des Beschwerdeführers mit Schreiben vom 18. Dezember 2003 direkt an den Vizepräsidenten des Kantonsgerichts, bat um eine Aussprache und kündigte an, dass er gegen den Kantonsgerichtsschreiber Y._ ein Ausstandsbegehren stellen werde. Am 5. Januar 2004 schrieb Y._ dem Beschwerdeführer u.a. Folgendes: "Mit Verfügung vom 12. Dezember 2003 wurde Ihr Gesuch vom 5. Dezember 2003 betreffend eines Verständigungsversuchs abgelehnt. Diese prozessleitende Verfügung wurde, auch wenn dies darin nicht explizit erwähnt wird, wie in solchen Fällen üblich, lediglich aufgrund einer prima facie-Würdigung erlassen und entsprechend auch nicht weiter begründet. Nach Ihren Interventionen wurde die Sache nochmals geprüft und es wurde beschlossen, die Frage des Verständigungsversuchs der verwaltungsrechtlichen Abteilung anlässlich der mündlichen Verhandlung vorab zum Entscheid vorzulegen." Sodann wurde dem Beschwerdeführer die voraussichtliche Zusammensetzung des Gerichts bekannt gegeben, u.a. mit Y._ als Gerichtsschreiber. Mit Schreiben vom 19. Januar 2004 ersuchte X._, auf die Ablehnung des beantragten Verständigungsversuchs zurückzukommen und einen solchen, verbunden mit einem Augenschein an Ort und Stelle, durchzuführen; eventualiter sei ein Augenschein vor Abhaltung der Hauptverhandlung vorzunehmen. Zudem ersuchte er um Verschiebung der Hauptverhandlung. Am 22. Januar 2004 antwortete der Kantonsgerichtsschreiber Y._, dass in Absprache mit dem Gerichtspräsidenten am vorgesehenen Verfahrensablauf festgehalten werde. Die Parteien wurden zur gerichtlichen Verhandlung am 2. März 2004 vorgeladen. Am 22. Januar 2004 antwortete der Kantonsgerichtsschreiber Y._, dass in Absprache mit dem Gerichtspräsidenten am vorgesehenen Verfahrensablauf festgehalten werde. Die Parteien wurden zur gerichtlichen Verhandlung am 2. März 2004 vorgeladen. J. Mit Schreiben vom 10. Februar 2004 ersuchte X._ um den Ausstand von Kantonsgerichtsschreiber Y._. Am 12. Februar 2004 entschied der Vizepräsident des Kantonsgerichts als Einzelrichter, dass dem Ausstandsgesuch nicht stattzugeben sei. J. Mit Schreiben vom 10. Februar 2004 ersuchte X._ um den Ausstand von Kantonsgerichtsschreiber Y._. Am 12. Februar 2004 entschied der Vizepräsident des Kantonsgerichts als Einzelrichter, dass dem Ausstandsgesuch nicht stattzugeben sei. K. Hiergegen erhebt X._ staatsrechtliche Beschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des angefochtenen Entscheids. Ausserdem beantragt er, dem Kantonsgericht sei durch vorsorgliche Verfügung zu verbieten, in der Bausache X._ mit Kantonsgerichtsschreiber Y._ eine Gerichtsverhandlung durchzuführen. K. Hiergegen erhebt X._ staatsrechtliche Beschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des angefochtenen Entscheids. Ausserdem beantragt er, dem Kantonsgericht sei durch vorsorgliche Verfügung zu verbieten, in der Bausache X._ mit Kantonsgerichtsschreiber Y._ eine Gerichtsverhandlung durchzuführen. L. Das Kantonsgerichtspräsidium und Y._ (im Folgenden: der Beschwerdegegner) beantragen Abweisung der Beschwerde. Der Vizepräsident des Kantonsgerichts teilt mit, dass die Verfügung vom 12. Dezember 2003 von ihm mit dem Beschwerdegegner vorab besprochen und in Auftrag gegeben worden sei; der Beschwerdegegner habe also nicht in eigener Regie gehandelt, sondern im Auftrag des Präsidenten. Der Beschwerdegegner legt in seiner Vernehmlassung dar, dass ihm in der Verfügung vom 12. Dezember 2003 ein offensichtlicher Kanzleifehler unterlaufen sei, soweit auch das "Vollstreckungsverfahren" als letztinstanzlich rechtskräftig abgeschlossen bezeichnet worden sei. Nur so gebe der folgende Satz betreffend "strittigem Vollzug" überhaupt einen Sinn. Er bestätigt, dass er die Verfügung im Auftrag des Kantonsgerichtsvizepräsidenten erlassen habe. Der Beschwerdegegner legt in seiner Vernehmlassung dar, dass ihm in der Verfügung vom 12. Dezember 2003 ein offensichtlicher Kanzleifehler unterlaufen sei, soweit auch das "Vollstreckungsverfahren" als letztinstanzlich rechtskräftig abgeschlossen bezeichnet worden sei. Nur so gebe der folgende Satz betreffend "strittigem Vollzug" überhaupt einen Sinn. Er bestätigt, dass er die Verfügung im Auftrag des Kantonsgerichtsvizepräsidenten erlassen habe. M. Am 25. Februar 2004 wurde das Gesuch um Erlass einer vorsorglichen Verfügung abgewiesen. 