Sachverhalt: A. A.a. Bei den Städtischen Betrieben Olten (SBO) handelt es sich um eine selbständige öffentlich-rechtliche Unternehmung der Einwohnergemeinde der Stadt Olten/SO, die über eigene Rechtspersönlichkeit verfügt. Auf den 1. Januar 2007 übernahmen die SBO von der Einwohnergemeinde Trimbach/SO die Aufgabe der öffentlichen Wasserversorgung auf deren Gebiet. A.b. A._ ist Eigentümer zweier Liegenschaften in Trimbach (Xstrasse ... und Ystrasse ...). Am 25. Dezember 2007 rechneten die SBO die von ihm für das Jahr 2007 geschuldeten Wassergebühren ab. A._ erhob dagegen Rechtsmittel und machte unter anderem geltend, der Regierungsrat habe die von den SBO am 19. November 2004 beschlossene Tariferhöhung bisher nicht genehmigt, weshalb diese nicht angewendet werden dürfe. Der Verwaltungsrat der SBO, die Kantonale Schätzungskommission Solothurn und schliesslich das Verwaltungsgericht des Kantons Solothurn wiesen seine Rechtsmittel ab. Das Bundesgericht hiess eine dagegen erhobene Beschwerde mit Urteil vom 19. November 2009 (2C_86/2009) gut und wies die Sache zur Neuberechnung der Wassergebühren im Sinne der Erwägungen an die SBO zurück. In den Erwägungen führt es aus, die vom Beschwerdeführer geschuldeten Gebühren seien in der streitigen Periode 2007 ohne die am 19. November 2004 beschlossene Tariferhöhung neu zu berechnen, da für diese die nach kantonalem Recht erforderliche konstitutive Genehmigung durch den Regierungsrat noch ausstehe. B. In der Folge erstellten die SBO für das Jahr 2007 eine neue Gebührenrechnung. Gegen diese und sämtliche weiteren durch die SBO erhobenen Gebühren betreffend Wasser und Abwasser für die Jahre 2008 bis 2011 beschwerte A._ sich ohne Erfolg bei der kantonalen Schätzungskommission. Gegen deren Entscheid erhob er Beschwerde beim Verwaltungsgericht des Kantons Solothurn. Dieses hiess mit Urteil vom 6. Januar 2014 die Beschwerde teilweise gut. Es hob die Rechnungen Nr. 2010153042 und Nr. 2010154436 des Jahres 2010 sowie Nr. 2011155397 und Nr. 2011155398 des Jahres 2011 auf und wies die Sache zur Anpassung im Sinne der Erwägungen an die SBO zurück. Im Übrigen wies es die Beschwerde ab. Das Verwaltungsgericht erwog, gemäss Regierungsratsbeschluss 2010/80 seien die Wassertarife per 1. Januar 2010 auf Fr. 1.65 pro Kubikmeter für den Grundverbrauch und auf Fr. 2.05 pro Kubikmeter für den Mehrverbrauch erhöht worden. Diese Tarifänderung stehe im Widerspruch zum Konzessionsvertrag zwischen den SBO und der Einwohnergemeinde Trimbach/SO. Es seien deshalb neue Rechnungen "auf der Grundlage der per 1. Januar 2007 anwendbaren Tarife" bzw. "geltenden Tarife" auszustellen (E. 7.4 und 8). C. A._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das angefochtene Urteil sei aufzuheben, soweit die Beschwerde abgewiesen worden sei, und er sei von der Gebührenpflicht zu befreien. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Stadt Olten, die SBO und das Verwaltungsgericht beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. A._ (nachfolgend: der Abgabepflichtige) mit Replik sowie die SBO und das Verwaltungsgericht mit Duplik halten an ihren Anträgen fest. Das Bundesamt für Umwelt äussert sich, ohne einen Antrag zu stellen. 