Faits: A. C.Y._ et D.Y._ sont propriétaires des parcelles 3'029 et 1'432 de la commune de Lausanne, sises au chemin du Petit-Château 2 et précédemment propriété de Z._ SA. Ces bien-fonds sont colloqués en zone mixte de moyenne densité selon le Plan général d'affectation et son règlement du 26 juin 2006 (ci-après: le RPGA). La parcelle 3'029 supporte notamment une habitation et garage ainsi qu'une maison de maître, figurant sous la note 4 au recensement architectural. A.X._ et B.X._ sont propriétaires de la parcelle 2'918, sise au chemin du Petit-Château 3-5. Le chemin du Petit-Château est formé d'une partie piétonne qui part du début de l'avenue Louis-Vulliemin en direction de Sauvabelin. Il débouche ensuite à nouveau au nord sur ladite avenue. Cette deuxième partie est ouverte à la circulation des véhicules, à la suite de la constitution d'une servitude de passage à pied et pour véhicules en faveur des immeubles le bordant, notamment la parcelle 3'029. B. Le 29 octobre 2010, Z._ SA a déposé une demande de permis de construire portant sur la transformation et l'agrandissement de la maison existante, ainsi que la création d'une piscine couverte, de cinq lucarnes et une verrière en toiture et d'un garage enterré ainsi que sur des aménagements extérieurs. Mise à l'enquête publique, le projet a suscité plusieurs oppositions, dont celle des époux X._. Il ressort de la synthèse 109614 du 11 mai 2011 de la Centrale des autorisations CAMAC que les autorisations spéciales nécessaires et préavis favorables ont été délivrés. La municipalité de Lausanne (ci-après: la municipalité) a levé les oppositions et délivré le permis de construire sollicité, assorti de plusieurs charges, par décision du 18 mai 2011. Les époux X._ ont porté leur cause devant la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal). Après avoir procédé à une vision locale en présence des parties, la cour cantonale a partiellement admis le recours et réformé la décision de la municipalité du 18 mai 2011, en ce sens que le permis de construire inclura expressément, en tant que condition, les mesures de protection exigées dans le rapport établi le 2 avril 2012 par le Service des Parcs et Domaines de la Ville de Lausanne ainsi que celles exigées par les "Recommandations pour la protection des arbres, selon les directives de l'Union Suisse des Parcs et Promenades (USSP)". La décision attaquée a été confirmée pour le surplus. C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 28 juin 2012. Ils se plaignent en substance d'une application arbitraire du RPGA. Le Tribunal cantonal renonce à se déterminer et conclut au rejet du recours, au bénéfice des considérants de son arrêt. La municipalité conclut également au rejet du recours et à la confirmation des décisions entreprises. Les intimés demandent au Tribunal fédéral de rejeter le recours, dans la mesure de sa recevabilité. Par ordonnance du 21 septembre 2012, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif des recourants. 