Faits: A. En mai 1999, l'immeuble n° 3469 de la commune de X._ a été partagé en trois nouvelles parcelles nos 4101, 4102 et 4103. A l'occasion de cette mutation parcellaire, le propriétaire de la parcelle n° 3469 qui souhaitait légaliser le passage des canalisations déjà en place, a demandé au géomètre officiel de constituer une servitude "canalisations chauffage de chaufferie" en faveur de la parcelle n° 4103 et à charge de la parcelle n° 4102. Le 1er septembre 1999, une servitude de canalisations multiples grevant la parcelle n° 4102 a été portée au registre des servitudes; elle a toutefois été inscrite en faveur de la parcelle n° 4101 et non de la parcelle n° 4103. B. Le 4 avril 2000, les époux F._ ont acquis, chacun pour moitié, la parcelle n° 4102 de la commune de X._. L'acte d'achat-vente indique que ce fonds est grevé des servitudes de passage à pied et d'usage de chaufferie au profit des parcelles nos 4101 et 4103 et d'une servitude de canalisations multiples au profit uniquement de la parcelle n° 4101. C. Le 18 décembre 2002, B._ a acheté la part de propriété par étages 4103-1 (426/1000èmes) de la parcelle n° 4103 de la commune de Y._ pour 105'000 fr. Le même jour, A._ a acquis la seconde part de propriété par étages n° 4103-2 (574/1000èmes) de cette parcelle. Selon l'acte d'achat-vente, l'immeuble de base n° 4103 est au bénéfice d'une servitude d'usage de chaufferie et d'une servitude de passage à pied permettant l'accès à cette chaufferie, toutes les deux à charge de la parcelle n° 4102. Jusqu'en 2005, les copropriétaires de l'immeuble n° 4103 ont utilisé les canalisations multiples (eau, gaz, électricité et mazout) passant sur l'immeuble n° 4102 bien qu'aucune servitude de canalisations ne soit inscrite en ce sens au registre foncier. D. Au cours de l'année 2005, la chaufferie commune sise sur la parcelle n° 4102 est tombée en panne. Les époux F._ ont alors installé une chaufferie destinée à leur seul usage. Ils s'opposent depuis à ce que B._ et A._ utilisent les canalisations multiples reliant les deux immeubles au motif que cette utilisation ne fait pas l'objet d'une servitude inscrite au registre foncier. E. Le 6 octobre 2006, B._ et A._ ont ouvert action en rectification du registre foncier (art. 975 CC) contre les époux F._. Ils ont conclu à l'inscription en faveur de la parcelle n° 4103 d'une servitude de canalisations multiples à charge de la parcelle n° 4102. Après enquêtes, ils ont persisté dans leurs conclusions, invoquant encore l'art. 691 CC à l'appui de leur demande d'inscription. Les époux F._ se sont opposés à l'inscription de la servitude sollicitée. Le 31 mars 2008, B._ a vendu sa part de copropriété de 426/1000èmes de la parcelle n° 4103 pour un montant de 195'000 fr. à C._, D._ et E._, chacun pour un tiers. Par jugement du 15 mai 2008, le Tribunal de première instance du canton de Genève a débouté les demandeurs de leurs conclusions. F. Le 15 mai 2009, la Cour de justice du canton de Genève a rejeté l'appel formé par B._ et A._ contre ce jugement. En bref, elle a considéré que les actions tendant à la rectification du registre foncier et à l'inscription d'une servitude de conduite nécessaire devaient être rejetées, faute de légitimation active des demandeurs. Par surabondance de moyens, la cour cantonale a jugé que l'action en rectification du registre foncier devait de toute manière être rejetée car cette disposition ne s'appliquait qu'en cas d'inscription erronée et non, comme en l'espèce, en l'absence d'inscription. Elle a encore estimé que les conditions d'une inscription fondées sur l'art. 691 al. 1 CC n'étaient pas réunies, les demandeurs n'ayant pas établi que les travaux de raccordement et de pose d'une chaudière qui devaient être réalisés en l'absence d'une servitude engendreraient des frais excessifs. Enfin, elle a déclaré irrecevable l'action tendant à la constitution d'une servitude d'empiètement (art. 674 al. 3 CC) au motif qu'il s'agissait d'une conclusion nouvelle, prohibée par le droit cantonal au stade de l'appel. G. Contre cet arrêt, A._, B._, C._, D._ et E._ ont formé un recours en matière civile au Tribunal fédéral. Ils concluent à l'inscription au registre foncier d'une servitude de canalisations multiples en faveur de la parcelle n° 4103 et à charge de la parcelle n° 4102. La Cour de justice s'est référée aux considérants de son arrêt. Quant aux intimés, ils ont conclu au rejet du recours. 