Faits: A. A.a B._, ressortissante marocaine née le 20 mai 1977, est entrée en Suisse en 2004. Les autorités genevoises lui ont délivré régulièrement des autorisations de séjour de courte durée, pour des périodes de travail comme danseuse dans différents cabarets, jusqu'en 2010. Le 25 août 2010, l'Office cantonal de la population du canton de Genève lui a octroyé une autorisation de séjour pour études jusqu'au 30 juin 2011; sur requête de l'intéressée du 21 juillet 2011, qui s'engageait à repartir dans son pays au terme de ses études, dite autorisation a été prolongée jusqu'en juin 2012, par une décision précisant qu'une nouvelle prolongation ne serait pas accordée. Une nouvelle demande d'autorisation de séjour pour études, déposée le 29 mars 2012 auprès du Service de la population du canton de Vaud, a été rejetée par décision du 12 juillet 2012. A.b A._ est un citoyen suisse, né le 25 mai 1936 et domicilié à X._. A.c Le 22 septembre 2011, B._ et A._ ont déposé une demande d'ouverture d'un dossier de mariage auprès de l'Office de l'état civil de La Côte (ci-après : l'Office). B. Par décision du 19 mars 2012, l'Office a refusé son concours à la célébration du mariage, considérant qu'un abus du droit au mariage était en l'espèce manifeste. Statuant sur recours des intéressés par arrêt du 5 novembre 2012, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a rejeté leur recours et confirmé la décision querellée. C. Par acte du 6 décembre 2012, A._ et B._ exercent un recours en matière civile au Tribunal fédéral, assorti d'une demande d'assistance judiciaire. Ils concluent à l'annulation de l'arrêt attaqué et de la décision de l'Office et à ce qu'il soit donné ordre à l'Office de prêter son concours à la célébration de leur mariage. Les recourants se plaignent d'une application arbitraire de l'art. 97a CC, ainsi que de la violation des art. 14 Cst., 12 et 14 CEDH. Des déterminations n'ont pas été requises. 