Sachverhalt: A. Y._ führt im Ort Steinhaus, gelegen auf dem Gebiet der Gemeinde Ernen, einen landwirtschaftlichen Betrieb. Am 25. August 2008 reichte er ein Gesuch um Genehmigung und Subventionierung von Strukturverbesserungsmassnahmen ein, welche im Wesentlichen die Errichtung eines neuen Ökonomiegebäudes zur Milchviehhaltung neben einem bereits bestehenden Stall beinhalten. Das Projekt wurde im Amtsblatt vom 3. Juli 2009 publiziert. Daraufhin erhob X._ als Eigentümer benachbarter Parzellen Einsprache. Mit Entscheid vom 3. März 2010 wies der Staatsrat des Kantons Wallis die Einsprache ab, erteilte die Projektgenehmigung unter Auflagen und sprach eine Subventionierung durch den Kanton von Fr. 245'000.-- und durch die Gemeinde von Fr. 61'250.-- zu. Gegen diesen Entscheid erhob X._ am 26. April 2010 Verwaltungsgerichtsbeschwerde. Mit Urteil vom 1. Dezember 2010 wies das Kantonsgericht Wallis die Beschwerde ab, soweit es darauf eintrat. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 18. Januar 2011 beantragt X._ die Aufhebung des Urteils des Kantonsgerichts. Das Kantonsgericht und die Gemeinde Ernen beantragen in ihrer jeweiligen Vernehmlassung die Abweisung der Beschwerde. Der Staatsrat schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei, während der Beschwerdegegner beantragt, auf die Beschwerde sei gar nicht einzutreten, eventualiter sei sie abzuweisen, soweit darauf eingetreten werden könne. 