Faits : A. A._ est inscrit au registre des avocats du canton de Genève depuis 1978. Le 9 novembre 2010, il a requis de la Commission du barreau du canton de Genève (ci-après la Commission du barreau) d'être délié du secret professionnel pour être entendu comme témoin dans une cause civile opposant B._ à Y._ et X._. Le bureau de la Commission ainsi que la Commission plénière ont rejeté cette requête. Par arrêt du 11 octobre 2011, la Chambre administrative de la Cour de justice du canton de Genève (ci-après la Cour de justice) a annulé la décision de la Commission du barreau et renvoyé la cause à cette dernière pour qu'elle instruise la nature du mandat liant A._ à ses clients et détermine dans quelle mesure l'avocat était lié par un secret professionnel avant de statuer sur sa requête. Par courrier du 29 novembre 2011, Y._ et X._ ont demandé à être appelés en cause dans la procédure engagée devant la Commission du barreau. Le 20 février 2012, la Commission du barreau a rejeté la requête d'appel en cause. Le 8 mai 2012, la Cour de justice a rejeté le recours formé contre cette décision par Y._ et X._. Le 24 octobre 2012, le Tribunal fédéral a annulé l'arrêt de la Cour de justice et renvoyé la cause à la Commission du barreau pour qu'elle donne suite à la requête d'appel en cause (arrêt 2C_587/2012 du 24 octobre 2012), ce que la Commission du barreau a fait. B. Par décision du 11 mars 2013, la Commission du barreau a refusé de délier A._ de son secret professionnel. Elle a retenu qu'il était établi que les trois personnes concernées avaient donné mandat à A._ et, selon ce que ce dernier admettait dans ses courriers du 11 septembre 2007 et 15 mai 2008, qu'il avait dispensé à ses trois clients des conseils, rédigé un acte pour eux et était devenu dépositaire de documents. A l'exception de ce dernier aspect, son comportement relevait de l'activité professionnelle typique d'avocat, couverte par le secret professionnel. A._ a recouru auprès de la Cour de justice contre la décision de la Commission du barreau. Par arrêt du 25 mars 2014, la Cour de justice a admis le recours précité et annulé la décision de la Commission du barreau du 11 mars 2013, en constatant que A._ n'était pas lié par le secret professionnel à X._ et Y._. Elle a retenu en substance que l'activité déployée par A._ dans le cadre du mandat en question sortait du cadre strict de son activité d'avocat et n'était dès lors pas couverte par le secret professionnel. C. Par acte du 15 mai 2014, Y._ et X._ déposent un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt de la Cour de justice du 25 mars 2014. Ils concluent à son annulation et à ce que le refus de délier A._ de son secret professionnel prononcé par la Commission du barreau le 11 mars 2013 soit confirmé, le tout sous suite de frais et dépens. Subsidiairement, ils requièrent le renvoi de la cause à la Cour de justice pour nouvelle décision dans le sens des considérants. A titre préalable enfin, ils demandent que l'effet suspensif soit octroyé à leur recours. Dans sa réponse du 20 juin 2014, A._ persiste dans ses conclusions. La Commission du barreau s'en rapporte à justice, alors que la Cour de justice renonce à formuler des observations et persiste dans les considérants et le dispositif de son arrêt. Par ordonnance du 24 juin 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a accordé l'effet suspensif au recours. 