Faits: A. A.a. Le 18 avril 2008, X._ et Y._, en qualité de locataires, et Z._, en qualité de bailleur, ont conclu un contrat de bail portant sur une "maison d'environ 320 mètres carrés sur une parcelle d'environ 600 mètres carrés avec abri souterrain pour deux voitures"; l'immeuble se situait dans la commune genevoise de Chambésy. Le contrat était conclu pour une durée de cinq ans et quinze jours, renouvelable ensuite d'année en année; le locataire X._ avait toutefois la possibilité de résilier le bail avec un préavis de trois mois en cas de mutation professionnelle. Le loyer annuel était fixé à 96'000 fr.; aucun avis officiel de fixation du loyer initial n'a été remis aux locataires. Le 31 mars 2009, le locataire X._ a informé le bailleur qu'il avait démissionné de son emploi à Genève et voulait partir avec son épouse pour le Mexique à la fin du mois de juin; il a dit son intention de résilier le bail pour cette date. Par courrier du 2 avril 2009, le bailleur a accepté le congé pour le 31 juillet 2009. A.b. Par la suite, le locataire X._ a demandé à ce que lui-même et sa famille puissent rester dans la maison au-delà du terme précité. Le 24 juillet 2009, les parties ont alors conclu un second contrat de bail pour une durée fixe d'une année, jusqu'au 31 juillet 2010. Le loyer annuel a été fixé à 72'000 fr.; à nouveau, aucun avis officiel de fixation du loyer initial n'a été remis aux locataires. Dès octobre 2009, les locataires ont pris du retard dans le paiement du loyer. Le bailleur, après mises en demeure, a par deux fois donné le congé, soit tout d'abord pour le 31 janvier 2010, puis pour le 30 juin 2010. A la fin du mois d'août 2010, les arriérés de loyer avaient été rattrapés. B. B.a. Le 1er septembre 2010, le bailleur a requis l'évacuation des locataires auprès de la Commission genevoise de conciliation en matière de baux et loyers. Non conciliée, la cause a été portée devant le Tribunal des baux et loyers. Les locataires n'ont plus versé de loyer à partir du mois de septembre 2010. Le 27 octobre 2010, ils ont ouvert action en fixation du loyer initial, concluant à ce que le loyer soit fixé à 42'000 fr. par an (3'500 fr. par mois) dès le 15 avril 2008, à ce que le montant perçu en trop leur soit restitué et à ce que la garantie bancaire soit réduite en fonction du nouveau loyer. Les locataires ont en outre pris des conclusions en constatation de droit, visant à faire reconnaître que le contrat de bail s'était renouvelé pour une durée indéterminée à partir du 1er août 2010. Les locataires étaient assistés par l'ASLOCA, agissant notamment par l'intermédiaire de Pierre Stastny. La procédure en évacuation a été suspendue, tandis que les deux autres causes - fixation de loyer et constatation de droit - étaient instruites en parallèle. Par jugement du 1er novembre 2011 rendu dans la procédure en fixation du loyer, le Tribunal des baux et loyers a débouté les locataires, et donc admis la validité des loyers fixés contractuellement. B.b. Les locataires, toujours représentés par l'ASLOCA agissant sous la signature de Pierre Stastny, ont interjeté appel. Par arrêt du 3 décembre 2012, la Chambre des baux et loyers de la Cour de justice a rejeté l'appel et confirmé le jugement attaqué. Elle a pour l'essentiel retenu que les locataires commettaient un abus de droit en dénonçant l'omission de notifier le loyer initial au moyen de la formule officielle. B.c. D'entente avec le bailleur, les locataires ont libéré l'objet loué le 15 décembre 2012. C. Les locataires (recourants), assistés par Pierre Stastny agissant désormais en qualité d'avocat, ont interjeté un recours en matière civile auprès du Tribunal fédéral. A titre principal, ils requièrent que les loyers annuels fixés contractuellement à 96'000 fr. et 72'000 fr. soient déclarés nuls, le nouveau loyer étant fixé à 42'000 fr. par an dès le 15 avril 2008; ils concluent en outre à ce que le bailleur (intimé) soit condamné à restituer le trop-perçu, sous réserve des montants déjà payés par compensation avec les "loyers courus" du 1er septembre 2010 au 15 décembre 2012 et, enfin, à ce que le montant de la garantie bancaire soit réduit à trois mois du loyer nouvellement fixé. L'intimé conclut au rejet du recours. L'autorité précédente se réfère à son arrêt. 