Sachverhalt: A. Mit Verfügung vom 17. April 2009 hob die IV-Stelle des Kantons Zürich die M._ (Jg. 1961) am 28. März 1994 rückwirkend ab 1. März 1992 zugesprochene und - nach von Amtes wegen durchgeführten Rentenrevisionsverfahren - am 8. August 1997 sowie am 31. Oktober 2002 bestätigte ganze Invalidenrente per Ende Mai 2009 auf. B. Hiegegen liess M._ Beschwerde ans Sozialversicherungsgericht des Kantons Zürich erheben. Die IV-Stelle begründete die verfügte Rentenaufhebung in ihrer Beschwerdeantwort erstmals ausdrücklich damit, dass die Rentengewährung von Anfang an zweifellos unrichtig gewesen sei und deshalb in Wiedererwägung gezogen wurde. Das kantonale Gericht wies die Beschwerde des Versicherten mit Entscheid vom 23. September 2010 ab. C. Hiegegen lässt M._ Beschwerde führen und in materieller Hinsicht im Wesentlichen beantragen, es sei die IV-Stelle unter Aufhebung der diesbezüglich abweisenden Dispositiv-Ziffer 1 des kantonalen Entscheids zu verpflichten, ihm weiterhin "eine Rente auf der Basis von 100 %" zu gewähren. Als Eventualbegehren regt er eine Rückweisung der Sache - unter Berücksichtigung seiner Ausführungen in der Beschwerdeschrift - an die Vorinstanz an. Zudem ersucht er um unentgeltliche Rechtspflege. Die IV-Stelle sieht von einer Stellungnahme zur Sache ab. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 