Sachverhalt: Mit Verfügung vom 14. Oktober 2009 lehnte die IV-Stelle des Kantons Zürich das Leistungsbegehren von A._ (Jg. 1949) nach erfolgter Abklärung der medizinischen Verhältnisse und durchgeführtem Vorbescheidverfahren ab. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen gerichtete Beschwerde mit Entscheid vom 9. März 2011 ab. A._ lässt Beschwerde ans Bundesgericht erheben mit dem Begehren, die Sache sei unter Aufhebung des kantonalen Entscheids zwecks neuer Beurteilung an die IV-Stelle zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege. Die IV-Stelle schliesst unter Hinweis auf die Erwägungen im kantonalen Entscheid auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 