Sachverhalt: A. Mit zwei Verfügungen vom 13. August 2004 sprach die IV-Stelle des Kantons Zürich T._ (Jg. 1960) bei einem Invaliditätsgrad von 65 % für die Zeit ab 1. Mai 2003 eine halbe und ab 1. Januar 2004 eine Dreiviertelsrente zu. Als Ergebnis eines 2006 eingeleiteten Revisionsverfahrens hob sie die Rente nach durchgeführtem Vorbescheidverfahren mit Verfügung vom 3. Januar 2008 auf. B. Nachdem das Sozialversicherungsgericht des Kantons Zürich die gegen die Verfügung vom 3. Januar 2008 erhobene Beschwerde mit der substituierten Begründung der Wiedererwägung wegen zweifelloser Unrichtigkeit der ursprünglichen Rentenverfügung mit Entscheid vom 7. Oktober 2009 abgewiesen hatte, hiess das Bundesgericht die hiegegen gerichtete Beschwerde wegen Verletzung des Anspruches auf rechtliches Gehör mit Urteil vom 17. August 2010 gut, hob den vorinstanzlichen Entscheid auf und wies die Sache zur Neuprüfung an das kantonale Gericht zurück. Nach Gewährung des rechtlichen Gehörs schützte dieses - wie schon die IV-Stelle in der angefochtenen Verfügung bei einem Invaliditätsgrad von lediglich 37 % - die beanstandete Rentenaufhebung mit Entscheid vom 29. Oktober 2010 wiederum mit der substituierten Begründung der Wiedererwägung. C. Mit Beschwerde ans Bundesgericht lässt T._ die ersatzlose Aufhebung des kantonalen Entscheids vom 29. Oktober 2010 sowie der Revisionsverfügung der IV-Stelle vom 3. Januar 2008 beantragen; eventuell sei ihm für die Zeit ab 1. März 2008 bei einem Invaliditätsgrad von 46 % eine Viertelsrente zuzusprechen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 