Sachverhalt: A. Mit Verfügung vom 8. Mai 2009 sprach die IV-Stelle des Kantons Solothurn dem 1970 geborenen Y._ rückwirkend eine vom 1. Oktober 2002 bis 31. Dezember 2006 befristete ganze Invalidenrente namentlich gestützt auf ein Gutachten des medizinischen Instituts X._ vom 28. Mai 2008 zu. B. Y._ liess hiegegen Beschwerde beim Versicherungsgericht des Kantons Solothurn führen mit den Rechtsbegehren, in Aufhebung der Verfügung vom 8. Mai 2009 seien ihm die gesetzlichen Leistungen nach Massgabe einer Erwerbsunfähigkeit von mindestens 70 % über den 1. Januar 2007 hinaus zuzüglich eines 5%igen Verzugszinses ab wann rechtens zuzusprechen. Eventualiter sei die Sache zur Neuabklärung, (insbesondere zur Einholung eines psychiatrischen Gutachtens und zur Prüfung des Anspruchs auf berufliche Eingliederungsmassnahmen) sowie zur neuen Festlegung des Invaliditätsgrades an die IV-Stelle zurückzuweisen. Ferner ersuchte er um Rückerstattung der Kosten des Parteigutachtens des Psychiaters Dr. med. F._ vom 27. Januar 2009 sowie um Durchführung einer öffentlichen Gerichtsverhandlung mit Partei- und Zeugenbefragung gestützt auf Art. 6 Ziff. 1 EMRK. Mit Schreiben vom 25. August 2010 liess er zudem u.a. die unentgeltliche Rechtspflege beantragen, wobei der Kostenvorschuss bereits am 18. Juni 2009 bezahlt worden war. Das Versicherungsgericht des Kantons Solothurn wies das Gesuch um unentgeltliche Rechtspflege (im Sinne der unentgeltlichen Prozessführung und des unentgeltlichen Rechtsbeistands) verfügungsweise am 2. Februar 2011 zufolge Aussichtslosigkeit der Beschwerde ab (Dispositiv-Ziffer 3). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt Y._ beantragen, es sei Dispositiv-Ziffer 3 der Verfügung des kantonalen Gerichts vom 2. Februar 2011 aufzuheben und die Sache an dieses zurückzuweisen, damit es über das Gesuch um unentgeltliche Rechtspflege für das kantonale Verfahren neu entscheide. Weiter wird um aufschiebende Wirkung der Beschwerde ersucht. Für das bundesgerichtliche Verfahren wird die unentgeltliche Rechtspflege beantragt sowie um aufschiebende Wirkung der Beschwerde ersucht. Das kantonale Gericht schliesst auf Abweisung der Beschwerde. 