Faits: A. D'une surface de 5'965 m2, la parcelle n° 1306 du registre foncier de Chexbres (VD) est sise en zone à bâtir et supporte actuellement un hôtel, construit en 1907. F._ a conclu une promesse de vente et d'achat de cette parcelle avec son propriétaire K._. Le 7 juillet 2006, il a demandé à la Municipalité de Chexbres (ci-après: la municipalité) l'autorisation de démolir l'hôtel et d'édifier à sa place un ensemble résidentiel comprenant vingt-quatre logements répartis dans six bâtiments disposés en éventail. L'ensemble comprendrait un garage souterrain pouvant abriter quarante-et-un véhicules, un sous-sol et quatre niveaux habitables. Mis à l'enquête publique du 28 juillet au 18 août 2006, ce projet a suscité de multiples oppositions, dont celles de A._, B._, C._, D._ et E._. Sur le vu de ces oppositions, F._ a remanié légèrement le projet. Par décision du 6 décembre 2006, la municipalité a levé les oppositions et délivré le permis de construire. B. A._, B._, C._, D._ et E._ ont recouru contre cette décision auprès du Tribunal administratif du canton de Vaud. Ils alléguaient notamment que la hauteur maximale des façades - 12,50 m selon l'art. 10 du règlement communal sur le plan d'extension et la police des constructions (ci-après: RPE) - était dépassée en plusieurs endroits et que le garage souterrain ne respectait pas la règle de l'art. 39bis al. 1 RPE, selon laquelle les 3⁄4 de cette construction devaient être enterrés et une seule face devait être apparente. Le Tribunal administratif a rejeté le recours par arrêt du 14 novembre 2007. Il a considéré en substance que la hauteur des façades devait être calculée à partir du niveau du terrain établi par le géomètre H._. S'agissant du garage souterrain, il a retenu que le projet était conforme à la règle de l'art. 39bis RPE. C. Agissant par la voie du recours en matière de droit public, A._, B._, C._, D._ et E._ demandent au Tribunal fédéral de réformer cet arrêt en ce sens que la décision de la municipalité du 6 décembre 2006 soit annulée et l'autorisation de construire refusée. Ils concluent subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. Ils se plaignent d'une constatation incomplète ou inexacte des faits pertinents (art. 97 de la loi sur le Tribunal fédéral [LTF; RS 173.110]), d'un établissement arbitraire des faits (art. 9 Cst.), d'une violation de leur droit d'être entendus et d'un défaut de motivation (art. 29 al. 2 Cst.) ainsi que d'une application arbitraire du doit cantonal et communal. Le Tribunal administratif se réfère à son arrêt et conclut au rejet du recours. La Municipalité de Chexbres et F._ se sont déterminés; ils concluent également au rejet du recours. Ces observations ont été transmises aux recourants. 