Faits : A. B._ SA est propriétaire de la parcelle n° 6378 du registre foncier de la commune de Lausanne, d'une surface de 2'201 m 2, sise avenue Eugène-Rambert 30. Ce bien-fonds, colloqué en zone mixte de forte densité au sens des art. 104 ss du règlement du 26 juin 2006 du plan général d'affectation de la commune de Lausanne (ci-après : RPGA ou règlement communal), se situe dans un terrain en forte pente orienté en direction du sud. Il est bordé au nord par l'avenue Eugène-Rambert, au nord-est par l'avenue du Léman et au sud par la voie CFF. L'environnement se caractérise par la présence de petits bâtiments locatifs de trois ou quatre niveaux du côté sud de l'avenue Eugène-Rambert, de quelques villas en amont de l'avenue du Léman et de bâtiments plus importants, notamment du côté nord de l'avenue Eugène-Rambert et en aval le long du chemin de Bonne-Espérance. De l'autre côté de l'avenue Eugène-Rambert, en face de la parcelle n° 6378, se trouve notamment un bâtiment de 10 étages (8 étages à la hauteur de l'avenue du Léman). La parcelle n° 6378 supporte un bâtiment d'une surface de 798 m 2 construit en 1979, de 6 niveaux plus attique (8 niveaux du côté sud), qui comprend 49 logements (soit deux logements d'une pièce, douze de 2 pièces, quatorze de 3 pièces, deux de 3.5 pièces, quinze de 4 pièces, un de 4.5 pièces, deux de 6 pièces et un de 7 pièces) et un parking souterrain de 51 places. Un premier projet de surélévation de l'immeuble a été annulé par la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal) en juillet 2012. B. B._ a mis à l'enquête publique du 2 octobre au 1er novembre 2012 un nouveau projet de construction de quatre niveaux supplémentaires, l'installation de panneaux solaires en toiture, la pose d'une isolation périphérique et aménagements extérieurs. Le projet comprend la suppression de l'attique existant, la création de deux niveaux complets dans le prolongement du gabarit existant surmontés de deux niveaux en attique avec la création de 20 nouveaux logements, la suppression de quatre logements existants (un logement d'une pièce au 1 er étage, deux logements de 3 pièces au 3 ème étage et un logement de 7 pièces en attique au 3 ème étage), la mise aux normes ECA de la cage d'escalier et l'assainissement de l'enveloppe extérieure. Il implique une augmentation de la surface brute de plancher de 5'662 m 2 à 7'778 m 2, la surface au sol n'étant pas modifiée. Avec la surélévation prévue, la façade nord donnant sur l'avenue Eugène-Rambert aurait une hauteur de 14 m 50 à la corniche, soit une hauteur supplémentaire d'environ 8 m. A._ et consorts, propriétaires de parcelles voisines sises à l'avenue du Léman, ont formulé une opposition. La Centrale des autorisations CAMAC a établi sa synthèse le 4 décembre 2012, laquelle comprenait l'autorisation délivrée par la Division Logement du Service des communes et du logement du canton de Vaud, en application de la loi du 4 mars 1985 concernant la démolition, la transformation et la rénovation de maisons d'habitation, ainsi que l'utilisation de logements à d'autres fins que l'habitation (LDTR; RSV 840.15). Par décision du 18 janvier 2013, la Municipalité de Lausanne (ci-après: la Municipalité) a levé les oppositions et délivré le permis de construire. A._ et consorts ont recouru auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) contre cette décision et contre la décision de la Division Logement de délivrer l'autorisation spéciale en application de la LDTR. Après avoir tenu audience le 15 août 2013, le Tribunal cantonal a rejeté le recours, par arrêt du 10 janvier 2014. C. Agissant par la voie du recours en matière de droit public, A._ et consorts demandent principalement au Tribunal fédéral de réformer l'arrêt du 10 janvier 2014 en ce sens que les autorisations de la Municipalité de Lausanne et du Service des communes et du logement sont annulées. A titre subsidiaire, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision au sens des considérants. Invités à se déterminer, l'intimée, le Service des communes et du logement, le Tribunal cantonal et la Municipalité de Lausanne concluent au rejet du recours. Les recourants ont répliqué par courrier du 25 juin 2014. L'intimée a présenté d'ultimes déterminations par courrier du 14 juillet 2014. Par ordonnance du 10 mars 2014, le Juge présidant de la Ire Cour de droit public a admis la requête d'effet suspensif, présentée par les recourants. 