Faits: A. La commune de B._ et A._ ont décidé d'acquérir, chacun pour une partie, la parcelle n° 1 de la commune de B._, d'une surface de 82'418 m2, sise en zone agricole. La première envisageait de réaliser des équipements publics sur le terrain convoité, alors que le second, en sa qualité de propriétaire d'une parcelle voisine, entendait pouvoir agrandir sa propriété et préserver un dégagement autour de celle-ci. Les deux n'étant pas exploitants agricoles, l'acquisition projetée n'était réalisable qu'au travers de la procédure d'offre publique d'achat prévue à l'art. 64 al. 1 let. f de la loi fédérale sur le droit foncier rural du 4 octobre 1991 (LDFR; RS 211.412.11). A la suite de l'appel d'offre publié, X._, agriculteur domicilié à C._, a offert d'acheter la parcelle pour le prix de 1'700'000 fr., correspondant à celui précédemment offert par la commune de B._ et A._. B. Le 14 novembre 2006, la Commission foncière agricole du canton de Genève a autorisé X._ à acquérir la parcelle en cause. Elle a communiqué sa décision aux parties contractantes ainsi qu'à l'autorité de surveillance, mais pas à la commune de B._ et à A._. Mettant en doute la qualité d'agriculteur de l'acquéreur, la commune de B._ et A._ ont recouru au Tribunal administratif du canton de Genève. Par arrêt du 19 février 2008, celui-ci a déclaré leur recours irrecevable, au motif qu'ils n'avaient pas la qualité pour agir au regard de l'art. 83 al. 3 LDFR et de la jurisprudence développée au sujet de cette disposition et de l'art. 103 let. a OJ. C. Par acte du 9 avril 2008, A._ et la commune de B._ ont saisi le Tribunal fédéral d'un recours en matière civile, concluant à l'annulation de l'arrêt du Tribunal administratif et au renvoi de la cause à cette autorité afin qu'elle statue sur le fond. Ils invoquent la violation des art. 83 al. 3 et 64 al. 1 let. f LDFR. Le dépôt d'une réponse n'a pas été requis. 