Faits: A. J._ est né en 1994. Il est ressortissant français, né portugais et adopté par des parents de nationalité française. Il vit depuis le mois d'août 1997 en Suisse avec ses parents domiciliés à I._. Le père, A._, est en Suisse depuis le 3 octobre 1988. Il travaille depuis lors comme animateur pastoral. La mère, B._, qui est en Suisse depuis le 16 août 1989, a travaillé comme professeure d'anglais auprès du collège X._, à I._, entre 1992 et 1996. J._ est atteint de troubles du langage et du comportement et présente une microcéphalie. Ses parents ont demandé pour lui la prise en charge de mesures de formation scolaire spéciale (service éducatif itinérant, logopédie, enseignement spécialisé). Par décision du 19 juin 2002, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a rejeté cette demande. Il a considéré que l'enfant avait eu besoin de mesures de scolarité spéciales dès le mois de novembre 1997 au plus tard. Il ne comptait donc pas un an de résidence en Suisse avant le moment où les mesures requises étaient devenues nécessaires pour la première fois. B. Par jugement du 5 avril 2004, le Tribunal des assurances du canton de Vaud a rejeté le recours formé contre cette décision par J._. C. J._ interjette un recours de droit administratif dans lequel il demande la réforme de ce jugement en ce sens qu'il remplit les conditions d'assurance mises à l'octroi de mesures de formation scolaire spéciales. Il conclut, dès lors, au renvoi de la cause à l'office AI pour détermination des prestations y relatives. L'office AI se réfère à ses déterminations devant l'autorité cantonale et conclut, implicitement tout au moins, au rejet du recours. L'Office fédéral des assurances sociales (OFAS), secteur des conventions internationales, propose également son rejet. D. La Ire Chambre du Tribunal fédéral des assurances a tenu une audience publique ouverte aux parties le 2 février 2006. 