Sachverhalt: A. Der 1963 geborene N._ meldete sich am 21. April 2008 bei der Invalidenversicherung zum Leistungsbezug an. Die Kantonale IV-Stelle Wallis führte am 3. Juni 2008 ein Assessment mit dem Versicherten durch. Gemäss Mitteilung vom 14. Juli 2008 gewährte die Invalidenversicherung eine Orientierungsmassnahme (Action emploi). Der Kursbeginn wurde auf den 24. Juli 2008 festgesetzt. Die Massnahme sollte bis 20. August 2008 dauern. N._ wurde auf die Pflicht zur Kursteilnahme sowie die gesetzlichen Folgen einer Pflichtverletzung hingewiesen. Mit Verfügung vom 4. September 2008 lehnte die IV-Stelle den Anspruch von N._ auf Leistungen der Invalidenversicherung (berufliche Massnahmen, Taggeld, Rente) ab, weil der Versicherte während des Kurses nur ein minimalstes Interesse gezeigt habe; so habe er private Telefongespräche geführt, andere Kursteilnehmer gestört, sei abwesend gewesen und habe sich nicht kooperativ gezeigt, was letztlich zum Scheitern der Massnahme geführt habe. Gestützt auf die gesetzlichen Bestimmungen entfalle der Leistungsanspruch. B. N._ liess Beschwerde führen und zur Hauptsache beantragen, unter Aufhebung der Verfügung sei ihm eine ganze Invalidenrente zuzusprechen. Ferner ersuchte er um die Bewilligung der unentgeltlichen Rechtspflege. Mit Entscheid vom 23. Januar 2009 wies das Kantonsgericht Wallis das Gesuch um unentgeltlichen Rechtsbeistand ab und setzte dem Versicherten eine Frist von 30 Tagen zur Bezahlung eines Kostenvorschusses. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt N._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei das Kantonsgericht zu verpflichten, ihm die unentgeltliche Rechtspflege und für das vorinstanzliche Verfahren eine Parteientschädigung zu gewähren. Zudem ersucht er für das bundesgerichtliche Verfahren um die Bewilligung der unentgeltlichen Rechtspflege. Das Kantonsgericht Wallis verzichtet auf eine Vernehmlassung. D. Mit Verfügung vom 11. Mai 2009 wies das Bundesgericht das Gesuch um unentgeltliche Rechtspflege ab, weil die behauptete Bedürftigkeit nicht ausgewiesen sei, worauf N._ den von ihm gleichzeitig einverlangten Kostenvorschuss bezahlte. 