Sachverhalt: A. Das Bau- und Justizdepartement des Kantons Solothurn (BJD) verweigerte den Eigentümern von GB Lommiswil Nr. 79, A._ und B._, am 2. März 2010 die nachträgliche Bewilligung für die bereits erstellte, an die Parzelle ihres Wohnhauses (GB Nr. 1024) grenzende Umzäunung einer Pferdeweide und einen Sandplatz. Für die Beseitigung der unbewilligten Einzäunung und des Sandplatzes wurde eine Frist bis 30. Juni 2010 gesetzt. Die Verfügung erwuchs in Rechtskraft. B. Daraufhin schlossen die Grundeigentümer mit dem Landwirt X._ einen Pachtvertrag über GB Lommiswil Nr. 79. Gemäss dieser Vereinbarung verpflichtet sich X._, die im Pferdestall der Verpächter untergebrachten Tiere in "Weidepension" zu nehmen, wobei das Pensions- bzw. Taggeld und der Pachtzins verrechnet werden sollen. Die Gültigkeit des Pachtvertrags wurde von der Erteilung der Baubewilligung abhängig gemacht. Das BJD hielt am 31. Mai 2010 an seinem ursprünglichen Entscheid fest und befand, es handle sich nach wie vor um reine Hobbytierhaltung, welche in der Landwirtschaftszone nicht zonenkonform sei. Der offensichtlich vorliegende Rechtsmissbrauch finde vor dem Gesetz keinen Schutz. Es erteilte darum auch dem Landwirt die Bewilligung für die nachträgliche Umzäunung nicht und wies die Eigentümer von GB Lommiswil Nr. 79 auf die nach wie vor geltende Beseitigungsfrist hin. C. X._ gelangte hierauf ans kantonale Verwaltungsgericht, welches die Beschwerde mit Urteil vom 23. Juli 2010 abwies. Mit öffentlich-rechtlicher Beschwerde vom 13. September 2010 beantragt X._ die Aufhebung des verwaltungsgerichtlichen Urteils und die Feststellung, dass die bereits erstellte Einzäunung zonenkonform im Sinn von Art. 16a des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (RPG; SR 700 RPG) sei. Im Eventualantrag fordert der Beschwerdeführer, die Vorinstanz sei anzuweisen, die Einzäunung nach Art. 16a RPG zu beurteilen. Die Gemeinde Lommiswil hat sich nicht zur Angelegenheit vernehmen lassen, während sowohl das BJD als auch das Verwaltungsgericht des Kantons Solothurn auf Abweisung der Beschwerde schliessen, soweit darauf eingetreten werden könne. Das Bundesamt für Raumentwicklung (ARE) verzichtet auf eine Stellungnahme. 