Faits: A. Le 12 juin 2006, B._ et A._ ont requis la démolition d'une remise et d'un local-citerne ainsi que l'autorisation de construire une maison familiale comprenant deux appartements sur la parcelle n° 9115 du registre foncier de la commune de Sierre. Ce bien-fonds est classé en "zone d'ensemble de valeur" au sens de l'art. 110 du règlement de construction et de zones de la commune de Sierre, homologué par le Conseil d'Etat du canton du Valais le 14 octobre 1998 (RCCZ). Se fondant sur un rapport de la sous-commission cantonale des sites, le Service cantonal des bâtiments, monuments et archéologie a préavisé négativement la maison projetée, jugeant la hauteur prévue (8 m 60) trop importante pour un projet à toit plat dans la zone précitée. Le 13 février 2007, B._ et A._ ont déposé un projet modifié comportant un toit à deux pans à faible pente, avec abaissement de la hauteur de la corniche à 7 m 45 (ouest) et 7 m 95 (est). La sous-commission cantonale des sites et le Service cantonal des bâtiments, monuments et archéologie ont alors délivré un préavis positif. Soumis à l'enquête publique du 23 février au 5 mars 2007, ce projet a notamment suscité l'opposition d'X._ et de Y._, propriétaires de bien-fonds contigus, respectivement au sud (n° 8037) et au nord (n° 1323). Par décision du 3 avril 2007, la Ville de Sierre a délivré l'autorisation de construire sollicitée et levé les oppositions. Le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) a rejeté les recours formés par X._ et Y._ contre cette décision, par arrêt unique du 20 mai 2008. Sur recours des intéressés, la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a confirmé cette décision, par arrêt du 14 novembre 2008. Elle a considéré en substance que les précédentes autorités n'avaient pas excédé leur pouvoir d'appréciation, en estimant que la construction projetée s'intégrait dans l'environnement bâti et respectait les prescriptions légales en matière de construction et d'aménagement du territoire. B. Agissant par la voie du recours en matière de droit public, X._ et Y._ demandent au Tribunal fédéral d'annuler cet arrêt. Ils font valoir une intégration insuffisante aux constructions existantes et une voie d'accès inadaptée et non conforme à l'art. 19 de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 (LAT; RS 700). Le Tribunal cantonal a renoncé à se déterminer. Dans leurs observations, la Ville de Sierre et le Conseil d'Etat concluent au rejet du recours. A._ et B._ proposent également de le rejeter dans la mesure où il est recevable. C. Par ordonnance du 30 janvier 2009, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif présentée par les recourants. 