Faits: A. L'Office fédéral des transports (ci-après: l'OFT) a approuvé les plans du projet ferroviaire Cornavin - Eaux-Vives - Annemasse (ci-après: CEVA) par décision du 5 mai 2008. Cette approbation est assortie de nombreuses charges et conditions. Le projet, d'une longueur totale de 13,760 km, s'étend sur les communes de Genève, Lancy, Carouge, Veyrier, Cologny, Chêne-Bougeries, Chêne-Bourg et Thônex. Il présente, sur 77 % de son tracé, des installations en sous-sol et pour le reste (à l'exception de deux ponts à construire) des aménagements sur des lignes existantes. Le tracé du projet passe presque sous l'immeuble sis sur la parcelle 1848 de Genève - Plainpalais, à l'Avenue de Champel 22; plus précisément, le projet à cet endroit consiste dans l'une des extrémités de la halte de Champel. La décision précitée de l'OFT approuve notamment l'expropriation de 168 m2 ainsi que l'occupation temporaire et pendant cinq ans d'une surface de 322 m2 de cette parcelle. B. La communauté des copropriétaires de l'immeuble X._ a recouru contre l'approbation des plans du CEVA auprès du Tribunal administratif fédéral. Par arrêt du 15 juin 2011, le Tribunal administratif fédéral a rejeté le recours des intéressés et confirmé l'expropriation définitive et temporaire d'une partie de leur parcelle. C. Agissant par la voie du recours en matière de droit public, la communauté des copropriétaires de l'immeuble X._ demande au Tribunal fédéral d'annuler la décision précitée du Tribunal administratif fédéral, de dire que les emprises provisoire et définitive sollicitées sur la parcelle 1848 ne sont pas fondées et d'ordonner en conséquence aux CFF d'y renoncer. Les recourants se plaignent en substance d'une violation du principe de la proportionnalité et de la législation fédérale en matière d'expropriation. Le Tribunal administratif fédéral conclut au rejet du recours et renvoie expressément à l'arrêt attaqué. L'OFT renvoie sur le principe à sa décision d'approbation du 5 mai 2008 et renonce à se prononcer sur la présente cause. Les CFF concluent au rejet du recours dans la mesure où il est recevable. Par ordonnance du 22 septembre 2011, le Président de la Ire Cour de droit public a admis partiellement la requête d'effet suspensif des recourants, en ce sens qu'aucuns travaux de gros oeuvre du tunnel de Champel ne peuvent être exécutés avant la décision finale. 