Sachverhalt: Mit Verfügung vom 14. Dezember 2004 verneinte das Amt für Wirtschaft und Arbeit (AWA) des Kantons Zürich den Anspruch des M._ (geb. 1942) auf Arbeitslosenentschädigung vom 3. Mai 2002 bis 2. Mai 2004 und ab 3. Mai 2004 wegen arbeitgeberähnlicher Stellung. Auf Einsprache hin verneinte es die Anspruchsberechtigung vom 3. Mai 2002 bis 31. Oktober 2004 und bejahte sie ab 1. November 2004 (Entscheid vom 21. März 2005). Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 21. Juli 2006 im Sinne der Erwägungen ab. M._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, es sei ihm vom 3. Mai 2002 bis 2. Mai 2004 Arbeitslosenentschädigung zuzusprechen. Das AWA und das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung. 