Faits: A. A.a. Par "contrat d'entreprise intégrale" du 30 mai 2001, X._ et Y._, en qualité de maîtres de l'ouvrage, ont chargé l'architecte Z._ (ci-après: l'entrepreneur) de construire une villa de trois étages sur leur parcelle genevoise, pour le prix forfaitaire de 530'100 fr. Le plan de la villa, le descriptif des travaux et l'autorisation de construire faisaient partie intégrante de la convention, qui renvoyait à titre supplétif à la norme SIA 118 et aux art. 363 ss CO. Le descriptif des travaux prévoyait notamment, au chapitre de l'"isolation", la pose d'une "isolation de la toiture par FLUMROC 120 mm. ou similaire avec pare-vapeur". Il contenait aussi une rubrique finale intitulée "important", dans laquelle "l'entreprise se réserv[ait] le droit de procéder à des modifications des matériaux prévus dans le (...) descriptif ou sur les plans par des matériaux de qualité équivalente". Les travaux ont débuté le 18 juillet 2001. Simultanément, deux villas contiguës semblables étaient construites par l'entrepreneur. Pour l'isolation de la toiture des trois maisons, un système de la marque Ysox (ou Isobloc) a été posé en lieu et place du système Flumroc. Les maîtres d'ouvrage n'avaient pas formé d'objection lorsqu'une employée de l'entrepreneur leur avait proposé cette modification. La remise des clés a eu lieu le 6 août 2002. Un représentant de l'entrepreneur et les maîtres, assistés de deux architectes, ont procédé à la vérification finale de l'ouvrage, qui a été accepté. Le procès-verbal établi à cette occasion recense plusieurs travaux non encore exécutés, de nombreuses finitions et retouches nécessaires ainsi que des défauts de l'ouvrage, dont certains affectant la toiture. Les maîtres ont demandé une expertise privée à une entreprise de ferblanterie, laquelle a constaté des défauts de couverture et de ferblanterie de la toiture, en particulier des défauts d'étanchéité générant des infiltrations d'eau dans la villa. Ces défauts ont été supprimés pendant le premier semestre 2003, aux frais de l'entrepreneur. Les maîtres ont refusé de payer le dernier acompte de 79'515 fr. représentant le solde du prix forfaitaire. Ils exigeaient divers travaux de réfection, dont la liste augmentait avec la découverte de nouveaux défauts; l'entrepreneur refusait d'exécuter les travaux sauf les plus urgents, faute d'avoir été payé. En novembre 2003, les maîtres ont accepté de verser 14'187 fr. 15 "pour solde de tous comptes", sans que le litige ne prenne fin. A.b. L'une des villas contiguës a également connu des problèmes d'isolation de la toiture (étanchéité et fissures sur les murs), dès la livraison. Ces défauts ont été réparés par l'entrepreneur en 2002. En août 2006, les propriétaires de ladite villa ont découvert une nouvelle fissure sur un mur, qu'ils ont signalée à l'entrepreneur; ils se sont aussi plaints d'une mauvaise étanchéité de la toiture. Les parties ont alors signé une convention d'expertise-arbitrage. Le rapport du 6 octobre 2008 conclut que les défauts d'isolation et les fissures sur les murs ont pour origine des malfaçons commises dans la pose du matériau isolant. Rien n'indique que ces malfaçons soient intentionnelles, mais elles procèdent d'une méconnaissance de certaines contraintes propres au type d'isolation choisie. La qualité du matériau n'est en revanche pas mise en cause. Le coût pour l'élimination des malfaçons est estimé à 15'200 fr. B. B.a. Le 21 juillet 2008, l'entrepreneur a assigné les maîtres devant le Tribunal de première instance du canton de Genève en concluant au paiement de 80'946 fr. 20 plus intérêts. Il entendait obtenir le solde du prix forfaitaire et le paiement de diverses factures concernant des travaux supplémentaires et honoraires y relatifs. Le 29 septembre 2008, les maîtres ont signalé pour la première fois à l'entrepreneur que "le mode de construction de [leur] toiture n'était pas conforme avec le descriptif des travaux" et qu'ils avaient constaté sur les murs des fissures dont "le mauvais système de mise en place du toit sembl[ait] être à l'origine". Par réponse et demande reconventionnelle du 18 février 2009, les maîtres ont conclu au rejet de l'action principale, excipant de la compensation avec diverses créances fondées sur des défauts et un retard dans la livraison de l'ouvrage. Ils ont contesté le bien-fondé de plusieurs factures et ont opposé des frais qu'ils avaient eux-mêmes dû engager pour des travaux de réparation ou de finition. A titre reconventionnel, ils ont conclu au paiement de 88'396 fr. plus intérêts à raison des défauts dans le système d'isolation de la toiture, somme qu'ils ont ensuite augmentée à 108'000 fr. B.b. Une expertise judiciaire a été mise en oeuvre. Il en ressort que les systèmes d'isolation Ysox et Flumroc procèdent d'une conception différente, mais sont tous deux destinés et parfaitement adéquats à l'isolation d'une toiture. Ils présentent des qualités équivalentes, si ce n'est que l'Ysox est plus cher et offrirait un peu moins d'isolation phonique. Toutefois, le système Ysox a été posé en contravention des règles de l'art, de sorte que l'ouvrage présente une moindre isolation phonique et des fissures en plusieurs endroits sur les murs de la villa. Le coût d'élimination des défauts est estimé à 99'000 fr. Ce montant couvre les travaux recommandés, consistant à déposer toute la toiture et la charpente de la villa et à reprendre la construction d'une nouvelle toiture. B.c. Par jugement du 10 mai 2012, le Tribunal de première instance a partiellement admis l'action principale de l'entrepreneur, soit à concurrence de 52'988 fr. 45 plus intérêts; il a retenu que l'entrepreneur avait une créance de 66'310 fr. 40, partiellement compensée par une dette de 13'321 fr. 95 envers les maîtres, fondée sur la garantie des défauts de l'ouvrage. Le tribunal a par ailleurs rejeté l'action reconventionnelle des maîtres, au motif que la prétention de 108'000 fr. fondée sur le défaut d'isolation du toit était périmée; elle ne pouvait donc même pas être opposée en compensation. B.d. Les maîtres ont déféré cette décision à la Cour de justice. Par arrêt sur appel du 11 janvier 2013, cette autorité a réformé le jugement en ce sens que l'action principale est admise à concurrence de 51'998 fr. 55 plus intérêts. Elle a confirmé le jugement pour le surplus. C. Les maîtres saisissent le Tribunal fédéral d'un recours en matière civile dans lequel ils concluent en substance au rejet de l'action principale, après constatation de ce que le montant dû au titre de la demande principale est compensé par la créance tirée de la demande reconventionnelle. A titre reconventionnel, ils réclament 56'001 fr. 45 plus intérêts. L'entrepreneur intimé conclut au rejet du recours et s'en remet à justice quant à sa recevabilité. L'autorité précédente se réfère à son arrêt. 