Sachverhalt: A. S._, geboren 1954, arbeitet bei der Bank X._ als Devisenhändler. Nachdem er sich am 12. Oktober 2008 auf der Heimreise aus den Ferien in Italien auf der Autobahn in einem Stau stehend bei einer Auffahrkollision ein Schleudertrauma der Halswirbelsäule zugezogen hatte und in der Folge unter anhaltenden Beschwerden, namentlich Nackenschmerzen und Konzentrationsstörungen, litt, meldete er sich am 8. Mai 2009 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 25. Mai 2011 lehnte die IV-Stelle des Kantons Zürich den Anspruch auf eine Invalidenrente ab, wobei sie sich namentlich auf das vom Unfallversicherer eingeholte Gutachten der Gutachterstelle Z._ vom 22. Februar 2010 stützte, welches sich auch zu den von ihr gestellten Zusatzfragen äusserte. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. März 2012 ab. C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides seien ihm die gesetzlichen Leistungen, namentlich eine halbe Invalidenrente, bei einer Arbeitsunfähigkeit von mindestens 50% zuzusprechen. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt. 