Sachverhalt: A. Der 1954 geborene B._ erlitt am 8. Mai 2007 einen Fahrradunfall. Die Schweizerische Unfallversicherungsanstalt (SUVA) stellte ihre Leistungen zum 1. März 2010 ein (Einspracheentscheid vom 13. Oktober 2010). Auf Beschwerde hin hob das Versicherungsgericht des Kantons Solothurn diesen Verwaltungsakt auf und wies die Sache zu weiteren Abklärungen betreffend allfälliger orthopädischer und ORL-medizinischer Unfallfolgen an die SUVA zurück (Entscheid vom 16. Mai 2011). Im März 2008 hatte sich B._ bei der Invalidenversicherung zum Leistungsbezug angemeldet. Die IV-Stelle des Kantons Solothurn holte u.a. beim Zentrum X._ eine Expertise ein. Mit Vorbescheid vom 5. April 2011 teilte sie dem Versicherten mit, es bestehe kein Anspruch auf berufliche Massnahmen und eine Invalidenrente. Dagegen erhob B._ Einwand, wobei er um "volle unentgeltliche Rechtspflege und Rechtsverbeiständung" ersuchte. Mit Verfügung vom 17. August 2011 wies die IV-Stelle das Begehren ab. Bezug nehmend auf den Einwand gegen ihren Vorbescheid und unter Vorlage weiterer ärztlicher Berichte ersuchte sie am 5. September 2011 das Zentrum X._ um Stellungnahme. B. B._ liess beim Versicherungsgericht des Kantons Solothurn Beschwerde einreichen und beantragen, die Verfügung vom 27. August 2011 sei aufzuheben und ihm für das Vorbescheidverfahren die volle unentgeltliche Rechtspflege zu gewähren sowie eine öffentliche Verhandlung mit zusätzlicher Partei- und Zeugenbefragung durchzuführen; ebenfalls sei ihm für dieses Verfahren die unentgeltliche Rechtspflege zu gewähren. Mit Entscheid vom 26. Januar 2012 wies das angerufene Gericht das Gesuch um Bewilligung der unentgeltlichen Rechtspflege bzw. Bestellung eines unentgeltlichen Rechtsbeistandes (Dispositiv-Ziffer 3) und die Anträge, es sei eine öffentliche Verhandlung mit zusätzlicher Partei- und Zeugenbefragung durchzuführen (Dispositiv-Ziffer 4), ab. C. B._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, Dispositiv-Ziffer 3 und 4 des Entscheids vom 26. Januar 2012 seien aufzuheben, ihm für das Verfahren vor dem kantonalen Versicherungsgericht die volle unentgeltliche Rechtspflege und Rechtsverbeiständung zu gewähren, eventualiter die Sache zum Neuentscheid an die Vorinstanz zurückzuweisen. Das kantonale Versicherungsgericht beantragt die Abweisung der Beschwerde. 