Faits: A. D._, ressortissant étranger, domicilié en Suisse, a travaillé auprès de l'organisation internationale X._ jusqu'en 1999. Il a ensuite travaillé pour le compte de diverses organisations internationales à Genève jusqu'en 2004, puis comme fonctionnaire au service de l'organisation Y._, dont le siège est à B._. Depuis le 1er avril 2006, il travaille comme fonctionnaire au service de l'Organisation des Nations Unies (ONU), à Genève également. A ce titre, il est affilié à la Caisse de pensions de l'ONU. Le 6 décembre 2005, il a demandé à la Caisse cantonale genevoise de compensation (caisse de compensation) son affiliation à l'assurance-chômage suisse. Par décision du 12 décembre suivant, celle-ci a rejeté sa demande au motif que les fonctionnaires internationaux étrangers n'étaient pas assurés à l'AVS/AI/APG/AC et ne pouvaient pas y adhérer volontairement. Saisie d'une opposition du requérant, la caisse de compensation l'a rejetée par une nouvelle décision du 14 février 2006. B. Statuant le 15 mai 2006, le Tribunal cantonal des assurances sociales du canton de Genève a rejeté le recours formé par D._ contre cette dernière décision. C. D._ interjette un recours de droit administratif dans lequel il demande derechef à être affilié à l'assurance-chômage. La caisse de compensation conclut au rejet du recours, ce que propose également l'Office fédéral des assurances sociales (OFAS). Le Secrétariat d'Etat à l'économie (seco) ne s'est pas déterminé. 