Sachverhalt: A. Der 1966 geborene, zuletzt in einem 50 %-Pensum als Office-Administrator bei der X._ AG tätig gewesene W._ meldete sich im Dezember 2005 unter Hinweis auf gesundheitliche Beschwerden bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Zürich wies das Rentenbegehren mit Verfügung vom 30. März 2006 ab, da die von Gesetzes wegen bei lang dauernder Krankheit zu bestehende einjährige Wartezeit noch nicht abgelaufen sei. Der Versicherte erhob Einsprache. Die IV-Stelle holte ein polydisziplinäres medizinisches Gutachten des ärztlichen Zentrums Y._ vom 20. Juni 2007 ein und wies die Einsprache mit Entscheid vom 26. März 2008 ab. Bereits am 17. März 2008 hatte W._ gemeldet, er leide an weiteren gesundheitlichen Beschwerden. Auf die entsprechende Anfrage der Verwaltung hin erklärte er mit Eingabe vom 24. August 2008, er verzichte auf die Einreichung einer Beschwerde gegen den Einspracheentscheid und stelle vielmehr einen neuen Rentenantrag. Die IV-Stelle holte nebst weiteren Sachverhaltsabklärungen ein neurologisches Gutachten des Prof. Dr. med. M._ vom 9. September 2008 und eine psychiatrische Expertise des Dr. med. A._ vom 8. Dezember 2008 ein. Mit Vorbescheid vom 17. August 2009 eröffnete sie dem Versicherten ihre Absicht, ihm rückwirkend ab 1. März 2008 bei einem Invaliditätsgrad von 66 % eine Dreiviertelsrente zuzusprechen. W._ beantragte, ihm sei eine ganze Invalidenrente zu gewähren, was zudem, in Anwendung der prozessualen Revision, rückwirkend ab Januar 2005 zu erfolgen habe. Mit neuem Vorbescheid vom 5. Februar 2010 teilte die Verwaltung dem Versicherten mit, sie gedenke weiterhin nur eine Dreiviertelsrente zuzusprechen, dies nunmehr aber erst ab 1. April 2008. W._ machte geltend, er habe Anspruch ab Januar 2005 auf eine Teilrente und ab Oktober 2005 auf eine volle Invalidenrente. Mit Verfügung vom 3. November 2010 bestätigte die IV-Stelle die am 5. Februar 2010 angekündigte Invalidenrente sowohl masslich als auch hinsichtlich Rentenbeginn. B. Beschwerdeweise beantragte W._, in Aufhebung der Verfügung vom 5. Februar 2010 sei die prozessuale Revision gutzuheissen und rückwirkend ab Januar 2005 eine Teil- sowie ab Oktober 2005 eine volle Invalidenrente zuzusprechen. Das Sozialversicherungsgericht des Kantons Zürich hiess die Beschwerde teilweise gut und änderte die Verfügung vom 3. November 2010 dahin gehend ab, dass der Versicherte ab 1. April 2008 Anspruch auf eine ganze Invalidenrente habe. Im Übrigen wies es die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt W._ beantragen, es sei der vorinstanzliche Entscheid betreffend prozessuale Revision aufzuheben, diese gutzuheissen und rückwirkend ab Januar 2005 eine Teil- sowie ab Oktober 2005 eine volle Invalidenrente zuzusprechen. Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 