Sachverhalt: A. Nachdem die IV-Stelle des Kantons Solothurn mit Verfügungen vom 28. Juni 2002 und 30. Juli 2003 Rentenbegehren von S._ (Jg. 1951) mangels anspruchsrelevanter Invalidität abgewiesen hatte, meldete sich dieser am 13. Oktober 2003 erneut zum Rentenbezug an. Nach erfolgten Abklärungen medizinischer und erwerblicher Art lehnte die IV-Stelle dieses Gesuch am 14. Dezember 2005 wiederum wegen Fehlens einer rentenbegründenden Invalidität verfügungsweise ab. Dies bestätigte sie nach Einholung eines am 9. Februar 2009 erstatteten polydisziplinären Gutachtens des Instituts A._ mit Einspracheentscheid vom 8. März 2010. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 2. März 2011 ab. C. S._ lässt Beschwerde ans Bundesgericht führen mit den Begehren, es seien ihm unter Aufhebung des kantonalen Entscheids die gesetzlichen Leistungen nach Massgabe eines Invaliditätsgrades von mindestens 40 % zuzüglich Verzugszins von 5 % zuzusprechen; eventuell sei die Sache zu weiteren medizinischen und beruflichen Abklärungen an die Vorinstanz oder an die IV-Stelle zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege. Das kantonale Gericht verweist auf seine Ausführungen im angefochtenen Entscheid, während die IV-Stelle und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichten. 