Sachverhalt: Sachverhalt: A. Mit Klage vom 2. November 1995 verlangte Y._ vor Bezirksgericht Laufenburg die Trennung der mit X._ im Jahre 1977 geschlossenen Ehe. Mit Stellungnahmen vom 20. März bzw. vom 5. Juni 2001 beantragten beide Parteien übereinstimmend die Scheidung. Anlässlich der Beweisverhandlung vom 16. Januar 2003 stellte X._ ein Ablehnungsbegehren gegen den Präsidenten des Bezirksgerichts Laufenburg. Zur Begründung führte er aus, es bestünden freundschaftliche Kontakte zwischen seiner Schwester bzw. deren Ehemann (im Folgenden: Ehegatten Z._) und dem Vorsitzenden. Der Gerichtspräsident habe angegeben, er habe einen Telefonanruf von dieser Schwester erhalten. Sie habe ihm mitgeteilt, dass ihr Bruder etwas von Waffenbesitz erwähnt habe. Deshalb sei er als Beklagter vor der Beweisverhandlung durchsucht worden. Anlässlich der Beweisverhandlung vom 16. Januar 2003 stellte X._ ein Ablehnungsbegehren gegen den Präsidenten des Bezirksgerichts Laufenburg. Zur Begründung führte er aus, es bestünden freundschaftliche Kontakte zwischen seiner Schwester bzw. deren Ehemann (im Folgenden: Ehegatten Z._) und dem Vorsitzenden. Der Gerichtspräsident habe angegeben, er habe einen Telefonanruf von dieser Schwester erhalten. Sie habe ihm mitgeteilt, dass ihr Bruder etwas von Waffenbesitz erwähnt habe. Deshalb sei er als Beklagter vor der Beweisverhandlung durchsucht worden. B. Das Bezirksgericht Laufenburg stellte das Ablehnungsgesuch mit Beschluss vom 16. Januar 2003 der Inspektionskommission des Obergerichts zu. Das Bezirksgericht wie auch die Klägerin schlossen auf Abweisung des Begehrens. Mit Eingabe vom 29. Januar 2003 wies der Gesuchsteller die Inspektionskommission darauf hin, dass es ihm angezeigt erscheine, den Gerichtspräsidenten zu einer Stellungnahme einzuladen. Derzeit sei ein fundierter Entscheid über das Ablehnungsbegehren nicht möglich. Die Inspektionskommission stellte diese Eingabe umgehend dem Präsidenten des Bezirksgerichts Laufenburg zu mit der Aufforderung, dazu Stellung zu nehmen. Diesem Ersuchen wurde am 14. Februar 2003 entsprochen. Am 10. Juni 2003 wies die Inspektionskommission des Obergerichts das Ablehnungsgesuch ab, ohne dass die Stellungnahme des Bezirksgerichtspräsidenten dem Gesuchsteller zugestellt worden wäre. Auf staatsrechtliche Beschwerde hin hob das Bundesgericht den Entscheid der Inspektionskommission wegen Verletzung des rechtlichen Gehörs auf (Urteil 1P.474/2003 vom 27. November 2003). C. Nachdem sich X._ zur Stellungnahme des Bezirksgerichtspräsidenten Laufenburg geäussert hatte, wies die Inspektionskommission das Ausstandsbegehren mit Entscheid vom 13. Februar 2004 erneut ab. Aufgrund der Akten habe sich die Anordnung einer polizeilichen Durchsuchung des Gesuchstellers geradezu aufgedrängt, nachdem der Gerichtspräsident vom Schwager des Gesuchstellers über dessen Ausführungen betreffend Waffen orientiert worden sei. Demnach seien besondere Umstände zu verneinen, aufgrund welcher ausnahmsweise nicht nur die Freundschaft eines Richters mit einer Partei, sondern auch eine (ohnehin nicht besonders intensive) Freundschaft "über mehrere Ecken" den Anschein der Befangenheit begründen könnte. C. Nachdem sich X._ zur Stellungnahme des Bezirksgerichtspräsidenten Laufenburg geäussert hatte, wies die Inspektionskommission das Ausstandsbegehren mit Entscheid vom 13. Februar 2004 erneut ab. Aufgrund der Akten habe sich die Anordnung einer polizeilichen Durchsuchung des Gesuchstellers geradezu aufgedrängt, nachdem der Gerichtspräsident vom Schwager des Gesuchstellers über dessen Ausführungen betreffend Waffen orientiert worden sei. Demnach seien besondere Umstände zu verneinen, aufgrund welcher ausnahmsweise nicht nur die Freundschaft eines Richters mit einer Partei, sondern auch eine (ohnehin nicht besonders intensive) Freundschaft "über mehrere Ecken" den Anschein der Befangenheit begründen könnte. D. Mit Eingabe vom 18. März 2004 erhebt X._ staatsrechtliche Beschwerde. Er wirft der Inspektionskommission vor, die Garantie des verfassungsmässigen Richters gemäss Art. 30 Abs. 1 BV missachtet zu haben und beantragt, der angefochtene Entscheid sei aufzuheben. Sowohl die Inspektionskommission des Obergerichts als auch das Bezirksgericht Laufenburg haben auf eine Stellungnahme verzichtet. 