Faits: A. A.a C.X._ est décédée le 4 octobre 2007, laissant comme héritiers ses deux frères, D._ et E.X._ et en désignant A._ en qualité d'exécuteur testamentaire. A.b E.X._ est décédé le 5 octobre 2009, désignant B._ en qualité d'exécuteur testamentaire. B. Le 25 mars 2010, B._ a dénoncé A._ au Président du Tribunal d'arrondissement de la Sarine, en qualité d'autorité de surveillance. B.a Par décision du 10 janvier 2012, le Président du Tribunal a révoqué A._ de sa fonction d'exécuteur testamentaire. A._ (ci-après: le dénoncé) a recouru contre cette décision le 9 février 2012, concluant à son annulation et à la constatation que la procédure est devenue sans objet. B._ (ci-après: le dénonçant) a conclu au rejet du recours dans sa réponse du 13 mars 2012. B.b Par arrêt du 23 avril 2012, la Ie Cour d'appel civil du Tribunal cantonal du canton de Fribourg (ci-après: la Cour d'appel), a admis le recours; partant, elle a annulé la décision du Président du Tribunal du 10 janvier 2012 et rejeté la plainte. Elle a en outre mis les frais de la procédure d'appel à la charge du dénonçant, sans allouer de dépens au dénoncé. C. Par acte du 25 mai 2012, le dénoncé interjette un recours au Tribunal fédéral. Il conclut principalement à l'annulation de l'arrêt entrepris et à sa réforme en ce sens qu'il lui est alloué des dépens pour la procédure d'appel, à la charge du dénonçant. Invités à se déterminer, le dénonçant a conclu au rejet du recours dans la mesure de sa recevabilité et l'autorité précédente s'est ralliée à la conclusion du recourant, admettant que son arrêt est erroné sur ce point, le dénoncé ayant conclu à ce que des dépens lui soient alloués pour l'instance d'appel. 