Faits: A. Le 25 août 2011, A.A._, B.A._ et C._ (ci-après: A.A._ et consorts) ont déposé un recours auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: la Cour cantonale) contre la décision rendue par la Municipalité de Payerne le 22 juin 2011. Celle-ci avait écarté leur opposition et accordé un permis de construire à X._ SA en vue de la création d'une butte anti-bruit, d'une piste de karting extérieure, d'une piste de karting pour enfants et d'un parc de jeux pour enfants dans le périmètre du plan partiel d'affectation "Le Vernex". Le 29 août 2011, les prénommés ont requis la récusation du Juge cantonal en charge du dossier, D._, au motif que celui-ci avait présidé la Cour du Tribunal cantonal ayant rejeté dans la mesure de sa recevabilité leur précédent recours concernant le plan partiel d'affectation "Le Vernex", dans un arrêt du 17 août 2009; le Tribunal fédéral avait par ailleurs rejeté, dans la mesure où il était recevable, le recours qu'ils avaient formé contre l'arrêt du 17 août 2009 (arrêt 1C_429/2009 du 19 juillet 2010). Par courrier du 31 août 2011, le Juge cantonal D._ s'est opposé à la récusation et a transmis la demande à la Cour administrative du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 21 septembre 2011, le Tribunal cantonal a rejeté la demande de récusation. Il a jugé en substance que rien ne permettait de penser que la connaissance approfondie par le Juge cantonal précité des faits ressortant du recours précédent impliquerait un préjugé empêchant de le considérer comme impartial au moment du jugement sur le second recours. B. Agissant par la voie du recours en matière de droit public, A.A._ et consorts demandent principalement au Tribunal fédéral de réformer cet arrêt en ce sens que la requête de récusation est admise. Ils concluent subsidiairement à l'annulation de l'arrêt attaqué. Invoquant notamment les art. 30 al. 1 Cst. et 6 par. 1 CEDH, ils se plaignent en substance de la partialité du juge visé par la demande de récusation. Dans le délai imparti par le Tribunal fédéral, le Juge cantonal D._ renonce à se déterminer et le Tribunal cantonal se réfère aux considérants de son arrêt. C. Par ordonnance du 31 octobre 2011, le Juge instructeur a rejeté la requête d'effet suspensif, formée par les recourants. 