Faits: A. C._ est propriétaire de la parcelle n° 21 du cadastre de la commune d'Orges. Trois bâtiments y sont érigés, dont le bâtiment ECA n° 134, sis en zone village, qui abritait une remise et une porcherie et dont une partie a été aménagée en studio. A._ et B._ sont propriétaires de la maison construite sur la parcelle n° 25, en limite ouest de celle de C._. Sans être au bénéfice d'une autorisation, C._ a effectué divers travaux dans et aux alentours du bâtiment n° 134 (agrandissement, pose de velux, création de places de parc, aménagement d'une salle d'escalade ou "mur de grimpe", d'un réfectoire, d'une cuisine et d'un W.C.). Suite à l'intervention de voisins, la municipalité a ordonné à C._ de mettre les travaux réalisés à l'enquête publique, ce qui fut fait du 20 août au 8 septembre 2002. Plusieurs voisins, dont les époux A._ et B._, ont formé opposition, notamment en raison des nuisances occasionnées par l'utilisation du mur de grimpe. Leurs oppositions ont été levées le 29 octobre 2002. Sur recours des opposants, le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) a, par arrêt du 9 septembre 2003, annulé le permis de construire octroyé par la municipalité, au motif que le changement d'affectation de l'ancien rural en centre de loisirs n'était pas conforme à l'affectation de la zone. Il générait des nuisances excessives pour le voisinage, ce qui était contraire au règlement. Une nouvelle enquête publique, portant sur la transformation et l'agrandissement du bâtiment n° 134, le changement d'affectation de la porcherie en studio et l'agrandissement de celui-ci, la création d'ouvertures en façades, la réalisation de deux chambres indépendantes, la pose de velux et l'aménagement de places de parc a ainsi eu lieu du 9 au 29 mars 2004. Les époux A._ et B._ ont à nouveau formé opposition. Les plans ont par la suite encore été modifiés, de sorte qu'une mise à l'enquête complémentaire a eu lieu du 6 au 25 août 2004, faisant apparaître que les travaux dans les étages (création de deux chambres indépendantes) étaient abandonnés. Les époux A._ et B._ ont toutefois maintenu leur opposition. Le 30 septembre 2004, la municipalité a délivré le permis de construire, en l'assortissant toutefois de conditions particulières relatives à l'utilisation du mur de grimpe et en refusant les ouvertures en toiture et en façade dans la mesure où C._ renonçait à rendre les locaux concernés (grange et combles du bâtiment) habitables. Dans une lettre d'accompagnement adressée aux époux A._ et B._, la municipalité a précisé qu'elle se conformait en tous points à l'arrêt rendu le 9 septembre 2003 par le Tribunal administratif. Les places de parc empiétant sur la zone agricole avaient été abandonnées et le mur de grimpe était maintenu à l'usage de l'habitation (studio) à l'exclusion d'un "centre sportif". Les époux A._ et B._, deux autres opposants ainsi que C._ ont recouru contre la décision communale. Par arrêt du 25 avril 2005, le Tribunal administratif a rejeté le recours des époux A._ et B._ et consorts mais a admis celui de C._. Il a réformé la décision d'octroi du permis en ce sens que la fréquentation du mur de grimpe, réservé à un usage strictement privé selon la demande de permis, ne pouvait pas être limitée dans le cadre du permis de construire. La Cour cantonale a également souligné que les travaux prévus dans l'ancien clapier étaient assimilables à une transformation et non à une reconstruction, pour autant que les murs et le toit de l'annexe soient maintenus. Elle a estimé que tel était le cas et que le non-respect de la distance aux limites n'était dès lors pas relevant. Le 20 mai 2005, la municipalité a délivré un permis autorisant la transformation et l'agrandissement du bâtiment n° 134 avec un changement d'affectation de la porcherie en studio. Le 8 juin 2005, elle a également édicté un document intitulé "annexe au permis de construire n° 185 - conditions particulières". Elle y soulignait que la fréquentation privée du mur de grimpe ne pouvait pas être limitée mais que la municipalité était en droit, le cas échéant, de s'assurer que l'installation ne soit pas mise à la disposition du public, que ce soit à titre gratuit ou moyennant un prix de location, et de veiller au respect des règles de police par les usagers de la parcelle. Dans cette annexe, la municipalité rappelait également l'absence d'autorisation pour les ouvertures telles que signalées sur le plan de mise à l'enquête. Les époux A._ et B._ craignant que C._ ne se conforme pas à l'autorisation délivrée, une audience a été aménagée par le Tribunal administratif le 24 mai 2006, au cours de laquelle les parties ont signé une convention prévoyant un contrôle de la construction par un architecte choisi par les soins des époux A._ et B._. Le 27 janvier 2007, l'architecte désigné a transmis son rapport à la municipalité. Il avait demandé que le plan d'enquête soit mis à jour en raison des modifications qui avaient été postérieurement apportées à ce dernier et qui avaient été entérinées par l'annexe au permis de construire du 8 juin 2005. Sur la base du plan ainsi mis à jour, il a jugé que les travaux réalisés étaient conformes à ceux qui avaient été autorisés. S'agissant du vitrage au-dessus de la porte du garage, il a admis qu'il avait été - contrairement aux ouvertures en façades - autorisé par le permis. L'architecte a pour le surplus simplement indiqué quelles étaient les interventions qui avaient été opérées sur l'ancien clapier: maintien du pan de bois ancien à l'extérieur; intérieur doublé à l'aide d'une isolation thermique, d'une brique et d'un crépi ciment; toiture remplacée. Le 13 février 2007, la municipalité a accordé le permis d'habiter à C._. Elle a souligné que l'immeuble respectait les affectations envisagées. Le studio était conforme aux plans et la grange était parfaitement inhabitable. Le vitrage au-dessus de la porte de cette dernière n'avait pas été biffé lors de la visite locale du Tribunal administratif. Il n'appartenait pas à la municipalité de juger s'il s'agissait d'un oubli ou d'un acte délibéré. Sa hauteur au-dessus du sol ne permettant pas de rendre les locaux éclairés "habitables", il pouvait au demeurant être considéré comme autorisé. Les règlements régissant les lieux de stockage de carburants étant stricts, le doublement intérieur du pan en bois de l'ancien clapier devait être regardé comme une simple mise en conformité. Enfin, vu la vétusté du toit de l'ancien clapier, le remplacement de ce dernier était logique du point de vue de la sécurité et de la salubrité. Il s'agissait d'une modification mineure autorisable. Par arrêt du 6 septembre 2007, le Tribunal administratif a rejeté le recours que les époux A._ et B._ avaient interjeté contre cette dernière décision et a confirmé l'octroi du permis d'habiter. B. Agissant par la voie du recours en matière de droit public, les époux A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt rendu le 6 septembre 2007 par le Tribunal administratif. Ils invoquent le principe de l'interdiction de l'arbitraire. Le Tribunal administratif a confirmé que le plan sur lequel l'architecte s'était basé correspondait bien aux travaux autorisés par le permis de construire n° 185 délivré le 20 mai 2005. Il s'est pour le surplus référé à l'arrêt attaqué. C._ et D._ ont conclu au rejet du recours. Ils ont par la suite transmis des photocopies de plans datés du 16 juillet 2002, les uns portant les corrections apportées par le Tribunal administratif, les autres vierges. La municipalité d'Orges a conclu à l'irrecevabilité du recours, subsidiairement à son rejet. Elle a communiqué une photocopie du plan de l'enquête complémentaire obtenu auprès de la Centrale des Autorisations en Matière d'Autorisation de construire (CAMAC). Par courrier du 4 décembre 2007, les époux A._ et B._ se sont spontanément déterminés. 