Sachverhalt: A. A.B._ und B.B._ (Kläger), beide mit Wohnsitz in Griechenland, reichten am 19. Dezember 2003 beim Bezirksgericht Zürich gegen X._ (Beklagter) Klage ein und verlangten im Wesentlichen Rechenschaft über die Tätigkeit des Beklagten als Beauftragter ihres verstorbenen Vaters und über dessen Vermögenswerte, sowie die Herausgabe verschiedener Dokumente und 50 % der Aktien einer Aktiengesellschaft mit Sitz in Vaduz (Gesellschaft), welche ihr Vater zusammen mit seinem Geschäftspartner, der ebenfalls aus Griechenland stammt, gegründet habe. Die Geschäftspartner hätten allerdings die Aktien zu 50 % im Rahmen einer Treuhandkonstruktion gehalten, an deren Umsetzung der Beklagte als Anwalt beider Geschäftspartner beteiligt gewesen sei. Nach dem Tod ihres Vaters sei der Anspruch auf Herausgabe und Rechenschaft auf die Kläger übergegangen. B. Der Beklagte bestritt generell das Vorliegen eines vertraglichen Verhältnisses und insbesondere die örtliche Zuständigkeit des angerufenen Gerichts, so dass das Verfahren auf diese Frage beschränkt wurde. Das Bezirksgericht stellte für die Zuständigkeitsfrage auf die Behauptung der Kläger ab, wonach zwischen ihrem Vater und dem Beklagten eine vertragliche Beziehung bestanden habe, und beurteilte seine Zuständigkeit nach dem Übereinkommen vom 16. September 1988 über die gerichtliche Zuständigkeit und die Vollstreckung gerichtlicher Entscheidungen in Zivil- und Handelssachen (SR 0.275.11; LugÜ). Es erkannte, der Beklagte habe seinen Wohnsitz zur Zeit nicht in der Schweiz, sondern in Spanien, und auch ein Gerichtsstand einer Zweigniederlassung in der Schweiz liege nicht vor. Dagegen erachtete es den Gerichtsstand am Erfüllungsort nach Art. 5 Ziff. 1 LugÜ für gegeben, wobei es den Erfüllungsort in Anwendung von Art. 117 IPRG nach schweizerischem Recht bestimmte, da der Beklagte bei Abschluss des Vertrages Wohnsitz in Zürich gehabt habe und der nachmalige Wegzug nicht zu einem Statutenwechsel geführt habe. Gestützt auf diese Überlegungen verwarf das Bezirksgericht am 25. Januar 2005 die vom Beklagten erhobene Unzuständigkeitseinrede. Gleich entschied am 1. Juni 2006 das Obergericht des Kantons Zürich, wobei es über weite Strecken auf die Erwägungen des Bezirksgerichts verwies. C. Mit eidgenössischer Berufung beantragt der Beklagte dem Bundesgericht, den angefochtenen Beschluss aufzuheben und das Bezirksgericht für örtlich unzuständig zu erklären. Die Kläger schliessen auf kostenfällige Abweisung der Berufung. 