Sachverhalt: A. A.a In der von der Z._ AG angehobenen Betreibung Nr. 1 des Betreibungsamtes A._ wurde X._ am 23. Januar 2009 die Pfändung angekündigt. A.b Gegen diese Verfügung erhob der Betriebene am 5. Februar 2009 Beschwerde beim Bezirksgericht Schwyz als unterer Aufsichtsbehörde. In seiner Begründung führte er unter anderem aus, dass "der eventuell befangene Richter (...) Instruktionen an die Vollzugsbehörden erteilt" habe. Daraufhin forderte der Gerichtspräsident X._ auf, innert 10 Tagen schriftlich mitzuteilen, ob er ein formelles Ausstandsbegehren gegen ihn stelle oder nicht. Gegebenenfalls werde das Gesuch dem Kantonsgericht Schwyz als Aufsichtsbehörde zum Entscheid überwiesen. Mit Schreiben vom 18. Februar 2009 antwortete X._ dahingehend, seine Beschwerde richte sich gegen das Betreibungsamt A._, das sich auf eine Rechtsauskunft des Gerichtspräsidenten stützte, gegen den er mit separatem Verfahren ein Ausstandsgesuch gestellt habe. Ihm sei nicht klar, ob das formelle Ausstandsbegehren ein separates Verfahren sei und er ersuche daher um Mitteilung, ob und wenn ja, in welcher Form er bezüglich dieses Verfahrens ein separates Ausstandsbegehren stellen müsse. Der Gerichtspräsident überwies am 25. Februar 2009 die Akten an das Kantonsgericht Schwyz zum Entscheid über das Ausstandsbegehren. Dabei hielt er fest, dass er sich für unbefangen halte, und er beantragte, das Ausstandsbegehren abzulehnen. Ein Doppel dieses Übermittlungsschreibens ging an X._. B. Mit Verfügung vom 26. Februar 2009 trat der Kantonsgerichtspräsident als Präsident der oberen kantonalen Aufsichtsbehörde in Schuldbetreibung und Konkurs auf das Ausstandsgesuch von X._ nicht ein. C. X._ ist mit Beschwerde in Zivilsachen vom 11. März 2009 an das Bundesgericht gelangt. Der Beschwerdeführer beantragt die Aufhebung der kantonsgerichtlichen Verfügung. Zudem sei ihm die Möglichkeit zu geben, sein Ausstandsbegehren ordentlich zu stellen und zu begründen. Es sind keine Antworten eingeholt worden. D. Am 25. März 2009 wies das Bezirksgericht als untere Aufsichtsbehörde die von X._ am 5. Februar 2009 in der Sache erhobene Beschwerde als verspätet ab. Dabei befand der Präsident vorläufig über das gegen ihn gerichtete Ausstandsbegehren und verneinte seine Befangenheit. Auf die dagegen erhobene Beschwerde trat das Kantonsgericht Schwyz als obere Aufsichtsbehörde mit Verfügung vom 9. April 2009 nicht ein. 