Sachverhalt: A. Am 19. Januar 2012 erteilte die Bau- und Umweltkommission der Einwohnergemeinde Wisen Y._ die Bewilligung für den Bau einer neuen Remise, eines neuen Silos sowie einer Fotovoltaikanlage auf den Dächern der neuen Remise und einer bestehenden Scheune. Das kantonale Bau- und Justizdepartement hatte das Vorhaben bereits am 15. November 2011 bewilligt. X.a._ und X.b._ fochten die kantonale Bewilligung beim Verwaltungsgericht des Kantons Solothurn an. Dieses wies das Rechtsmittel am 20. März 2012 ab, soweit es darauf eintrat. B. X.a._ und X.b._ erheben gegen den Entscheid des Verwaltungsgerichts Beschwerde beim Bundesgericht und beantragen, es sei der Erweiterungsbau mit neuem Silo und Remise nicht zu bewilligen. Zudem seien die zwei bestehenden Hochsilos stillzulegen oder von einem offenen in ein geschlossenes Betriebssystem zu überführen. Y._ ersucht um Abweisung der Beschwerde, soweit darauf einzutreten sei. Denselben Antrag stellt das Verwaltungsgericht. Das Bau- und Justizdepartement beantragt die Abweisung des Rechtsmittels. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Umwelt (BAFU) erklärt, dass das Bauvorhaben zwar mit den eidgenössischen Bestimmungen über die Luftreinhaltung, aber nicht mit dem Gewässerschutzrecht des Bundes zu vereinbaren sei. Die Beteiligten nehmen in weiteren Eingaben nochmals Stellung. 