Faits: A. Le 9 avril 2003, le Département des constructions et des technologies de l'information de la République et canton de Genève, devenu par la suite le Département de l'urbanisme, a délivré à l'Hospice Général l'autorisation de rénover un appartement de cinq pièces sis au premier étage de l'immeuble de l'avenue Léon-Gaud 11, à Genève. Selon la condition n° 5 de cette autorisation, le logement devait être destiné à la location et son loyer actuel de 19'224 fr. par an rester inchangé pendant une période de trois ans à dater de la remise en location après travaux. Le 3 juin 2003, A._ et B._ ont conclu avec l'Hospice général un contrat de bail à loyer portant sur cet appartement pour une durée de cinq ans, indexé du 1 er août 2003 au 31 juillet 2008. Les parties ont convenu que le loyer annuel serait de 19'224 fr. du 1 er août 2003 au 31 juillet 2006, puis de 32'592 fr. du 1 er août 2006 au 31 juillet 2008, plus 2'160 fr. de charges. L'avis de fixation du loyer initial reprenait ces montants et précisait que la hausse convenue par la clause d'échelonnement était motivée par une adaptation aux loyers usuels du quartier selon l'art. 269a let. a CO. Le 8 avril 2008, la régie immobilière a notifié aux époux A._ et B._ un avis de majoration de loyer augmentant celui-ci à 42'000 fr. dès le 1 er août 2008. Le loyer était réputé indexé au 100% de l'évolution de l'indice suisse au prix de la consommation et l'augmentation de loyer motivée par l'adaptation aux loyers usuels du quartier. Le 30 avril 2008, les époux A._ et B._ ont saisi la Commission cantonale de conciliation en matière de baux et loyers d'une requête en contestation de loyer. Ils ont alors appris à cette occasion que le loyer annuel initial de leur appartement avait été fixé suivant l'autorisation de construire du Département du 9 avril 2003. B. Le 10 novembre 2008, les époux A._ et B._ ont requis du Département qu'il invite la bailleresse à rectifier le contrat de bail du 3 juin 2003 afin de supprimer l'échelon introduit après la période de contrôle des loyers de trois ans qu'ils tenaient pour non conforme à l'autorisation de construire du 9 avril 2003 et à la loi genevoise sur les démolitions, transformations et rénovations de maisons d'habitation (LDTR). Par décision du 9 mars 2009, le Département a constaté que le loyer de l'appartement concerné de 19'224 fr. l'an, tel que fixé dans le contrat de bail du 3 juin 2003, était compatible avec la condition n° 5 de l'autorisation de construire délivrée le 9 avril 2003. Il a en outre rappelé que le contrôle du loyer fixé par l'autorisation de construire s'étendait sur une durée de trois ans et qu'il ne saurait porter au-delà du 31 juillet 2006. L'échelon convenu dans le contrat de bail du 3 juin 2003 relevait pour le surplus du droit privé. Statuant le 12 octobre 2010 sur recours des époux A._ et B._, la Commission cantonale de recours en matière administrative a annulé cette décision et renvoyé le dossier au Département pour qu'il procède à la rectification du contrat de bail du 3 juin 2003, lequel devait uniquement porter sur une durée de trois ans, conformément à l'autorisation de construire du 9 avril 2003. Elle a estimé qu'en incluant un échelonnement de loyer de plus de 50% dès la fin de la période de contrôle de trois ans dans le bail initial, l'Hospice général avait recouru à un procédé qui n'était pas conforme à l'intérêt public lié à la bonne foi en affaires et à l'objectif poursuivi par la LDTR. La Chambre administrative de la Cour de justice de la République et canton de Genève a admis le recours interjeté par l'Hospice général contre cette décision qu'elle a annulée et a rétabli la décision du Département du 9 mars 2009. Elle a constaté que le contrat de bail à loyer initial du 3 juin 2003 respectait le loyer fixé pendant la période de contrôle dans l'autorisation de construire du 9 avril 2003 et que le Département ne pouvait pas intervenir sur le montant du loyer dû au-delà de cette période de trois ans sans outrepasser ses compétences. C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler cet arrêt, qu'ils tiennent pour arbitraire et contraire au droit privé ainsi qu'au principe de la force dérogatoire du droit fédéral, de confirmer la décision de la Commission cantonale de recours en matière administrative du 12 octobre 2010 et d'ordonner à l'Hospice général de leur restituer le trop-perçu de loyers "avec intérêts à 5% calculés à date moyenne". L'Hospice général et le Département de l'urbanisme concluent au rejet du recours. Le Tribunal cantonal se réfère à son arrêt. 