Faits : A. A.a. A.X._ était membre avec trois autres personnes, dont B.X._, de la communauté héréditaire de feu C.X._. Celle-ci était propriétaire d'un domaine agricole à Y._ (FR). La part de A.X._ ayant été saisie, la Chambre des poursuites et faillites du Tribunal cantonal du canton de Fribourg a, en qualité d'autorité de surveillance LP, ordonné la dissolution de la communauté héréditaire et la liquidation du patrimoine commun le 14 avril 2011. Par courrier du 13 mai 2011, l'Office des poursuites du district du Lac (ci-après: Office des poursuites) a requis de la Justice de paix de l'arrondissement du Lac (ci-après: Justice de paix) qu'elle intervienne en lieu et place de A.X._ conformément à l'art. 609 CC. Lors d'une séance du 29 juin 2012 à laquelle A.X._ n'a pas pris part, les autres héritiers et la Justice de paix se sont ralliés à la proposition de B.X._ de reprendre le domaine agricole au prix de xxxx fr. A.b. Lors de la stipulation du contrat de partage le 3 juin 2013, A.X._ était représenté par D._, assesseur auprès de la Justice de paix. L'acte de partage prévoit notamment que B.X._ devient seul propriétaire des articles formant le domaine agricole précité. Par courrier du 24 juillet 2013, B.X._ a informé A.X._ du contenu de l'acte et du fait qu'il devrait remettre l'exploitation d'ici au 31 décembre 2013. Le 26 novembre 2013, un tiers a adressé un courriel à la Justice de paix au nom de A.X._. Il y affirme que A.X._ aurait obtenu par hasard une copie du contrat de partage, lequel contiendrait plusieurs erreurs relatives au calcul des fermages, des loyers, des valeurs de reprise du bétail et du chédail, ceci en sa défaveur. Il a sollicité que A.X._ soit entendu par la Justice de paix, requête réitérée le 4 décembre 2013. A.c. Le 11 décembre 2013, Me Louis-Marc Perroud, agissant au nom de A.X._ a déclaré invalider le contrat de partage du 3 juin 2013. Il en a informé la Justice de paix. B. B.a. Le 14 février 2014, A.X._ a adressé un recours à la Cour de protection de l'enfant et de l'adulte du Tribunal cantonal du canton de Fribourg (ci-après: Cour de protection de l'enfant et de l'adulte) concluant principalement à ce que la nullité de la décision prise par la Justice de paix lui désignant D._ pour procéder au partage du 3 juin 2013 ainsi que la nullité du partage résultant du contrat passé le 3 juin 2013 soit constatée et, subsidiairement, à ce que cette décision soit annulée et la nullité du partage constatée. Il a en outre conclu à ce que la Justice de paix soit invitée à lui désigner un représentant avec les pouvoirs de représentation et les compétences idoines, conformément à l'art. 609 al. 1 CC, et à ce que ce représentant soit invité à prendre contact avec lui en vue de procéder à un partage. Il a également requis que son recours soit muni de l'effet suspensif, soit que la suspension de l'exécution du contrat de partage et donc de son expulsion du domaine agricole soit ordonnée. A l'appui de ses conclusions, il a allégué que lors d'une séance du 17 janvier 2014, la Justice de paix, sans rendre de décision formelle, aurait "estimé que toutes les décisions qu'elle avait prises dans le cadre de la succession de feu C.X._ étaient conformes à la loi", un recours étant dès lors possible, selon lui, contre cette "décision". Invitée à se déterminer, la Justice de paix a relevé qu'elle n'avait rendu aucune décision le 17 janvier 2014, un simple entretien s'étant alors déroulé entre A.X._ et la Juge de paix. Elle a indiqué avoir correctement rempli ses fonctions, A.X._ n'étant pas habilité à intervenir dans les opérations de partage. B.b. Par arrêt du 27 mars 2014, la Cour de protection de l'enfant et de l'adulte a déclaré irrecevable le recours interjeté le 14 février 2014 par A.X._ et a déclaré sans objet la requête d'effet suspensif. C. Par acte du 7 mai 2014, A.X._ interjette un recours en matière civile au Tribunal fédéral contre cette décision. Il conclut principalement à la réforme de l'arrêt entrepris en ce sens que la nullité de sa représentation par D._, ainsi que la nullité du contrat de partage du 3 juin 2013 soit prononcée et, partant, à ce que la Justice de paix soit invitée à lui désigner un représentant avec les pouvoirs de représentation et les compétences idoines, conformément à l'art. 609 al. 1 CC, et à ce que ce représentant soit invité à prendre contact avec lui en vue de procéder à un partage. Subsidiairement, il conclut à la réforme de l'arrêt entrepris en ce sens que la décision prise par la Justice de paix quant à sa représentation par D._ soit annulée et la nullité du contrat de partage du 3 juin 2013 prononcée et, partant, à ce que la Justice de paix soit invitée à lui désigner un représentant avec les pouvoirs de représentation et les compétences idoines, conformément à l'art. 609 al. 1 CC et à ce que ce représentant soit invité à prendre contact avec lui en vue de procéder à un partage. Plus subsidiairement encore, il conclut à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. A l'appui de ses conclusions, il invoque la violation des art. 29 al. 1 et 29a Cst. ainsi que de l'art. 609 al. 1 CC. Il sollicite en outre que son recours soit muni de l'effet suspensif. Des déterminations n'ont pas été requises. D. Par ordonnance présidentielle du 28 mai 2014, la requête d'effet suspensif a été admise. 