Faits : A. A._, ressortissant marocain né le 1 er janvier 1991, est entré en Suisse le 9 septembre 2003 afin d'aller vivre à Genève auprès de sa mère marocaine, mariée à un ressortissant suisse. Il a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial. Le 3 avril 2008, il a obtenu une autorisation d'établissement. Sitôt arrivé en Suisse, l'intéressé a été pris en charge par sa tante. Il n'a ainsi jamais vécu à Genève, mais à Martigny, où il ne s'est annoncé que le 18 février 2010. Suite à cela, il a demandé au Service de la population et des migrations du canton du Valais (ci-après: le Service de la population) d'agréer un changement de canton. Par jugement du Tribunal des districts de Martigny et de St-Maurice du 9 septembre 2011, l'intéressé a été condamné à une peine privative de liberté de 16 mois, avec sursis pendant 2 ans, pour vol, tentative de vol, dommage à la propriété, violation de domicile et brigandage. Le 9 octobre 2013, il a été reconnu coupable, par le Tribunal de district de Sion, d'incendie intentionnel, de vol d'usage et de conduite sans permis de conduire. Pour ces infractions, il a été condamné à une peine privative de liberté de 6 mois assortie du sursis pendant 3 ans, ainsi qu'à une amende de 500 fr. B. Le 16 avril 2012, le Service de la population a rejeté la demande de changement de canton de l'intéressé, ordonnant simultanément à celui-ci de quitter le Valais et de reprendre résidence à Genève dans un délai de 30 jours. Le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) a confirmé ce prononcé dans une décision sur recours du 18 septembre 2013. L'intéressé a contesté cette dernière le 24 octobre 2013 auprès du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal). Par arrêt du 7 février 2014, le Tribunal cantonal a rejeté le recours de A._. Il a considéré que les condamnations de celui-ci constituaient des motifs de révocation de l'autorisation d'établissement et que la mesure prononcée était proportionnée, éléments excluant un changement de canton. C. Agissant par la voie du recours constitutionnel subsidiaire, A._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, principalement de réformer la décision du 7 février 2014 du Tribunal cantonal et de l'autoriser à s'établir dans le canton du Valais, subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il invoque une violation de l'interdiction de l'arbitraire. Par ordonnance du 20 mars 2014, le Juge présidant de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. Le Service de la population et le Tribunal cantonal renoncent à se déterminer sur le recours. Le Conseil d'Etat et l'Office fédéral des migrations concluent à son rejet. 