Sachverhalt: A. X._ ist Sanitärinstallateur mit eidgenössischem Fähigkeitsausweis und betreibt ein Sanitärgeschäft in A._. Am 17. Oktober 1989 erteilte ihm der Gemeinderat A._ die Konzession für die Ausführung von Wasserleitungen und -installationen auf dem Gebiet der Gemeinde A._. Am 8. August 2007 ersuchte X._ die Städtischen Werke Schaffhausen und Neuhausen am Rheinfall (im Folgenden: Städtische Werke) um Erteilung einer Installationsbewilligung für die Ausführung von Gas- und Wasserinstallationen im Versorgungsgebiet der Gas- und Wasserwerke Schaffhausen und Neuhausen am Rheinfall. Die Städtischen Werke erteilten ihm am 21. September 2007 die Bewilligung für das Ausführen von Gasinstallationen, verweigerten ihm aber mit Verfügung vom 12. Juni 2008 die Berechtigung für Installationen an Haustechnikanlagen für Trinkwasser und Arbeiten an Wasserinstallationen, da er die erforderliche Fachkunde nicht nachgewiesen habe. X._ erhob dagegen Einsprache an den Stadtrat der Stadt Schaffhausen und beantragte unter Hinweis auf Art. 2 des Bundesgesetzes vom 6. Oktober 1995 über den Binnenmarkt (Binnenmarktgesetz, BGBM; SR 943.02) die Bewilligung für Installationsarbeiten. Der Stadtrat wies die Einsprache am 23. Dezember 2008 ab. B. X._ erhob dagegen Rekurs an den Regierungsrat des Kantons Schaffhausen. Mit Beschluss vom 17. November 2009 hiess der Regierungsrat den Rekurs gut, hob den Beschluss des Stadtrats sowie die Verfügung der Städtischen Werke auf und wies die Sache im Sinne der Erwägungen zur erneuten Prüfung des Gesuchs an die Städtischen Werke zurück. In den Erwägungen führte er aus, der Rekurrent habe nach Art. 2 Abs. 1, 3 und 5 BGBM grundsätzlich Anspruch, auf dem Versorgungsgebiet der Städtischen Werke tätig zu sein. Er habe eine Bewilligung der Gemeinde A._, die zwar im Unterschied zu den Städtischen Werken keine spezifischen fachlichen Voraussetzungen verlange und somit nicht gleichwertig sei. Das Installations-Reglement der Stadt Schaffhausen verlange einen Nachweis der Fachkundigkeit gemäss dem Regelwerk des Schweizerischen Vereins des Gas- und Wasserfaches (SVGW). Nach der massgebenden Richtlinie GW1 Ziff. 2.2.4 dürften Installationsarbeiten an Haustechnikanlagen von Personen ausgeführt werden, welche über das eidgenössische Fähigkeitszeugnis als Sanitärmonteur verfügten. Der Rekurrent verfüge über dieses Diplom und eine über 20-jährige tadellose Berufspraxis und habe 1993 einen Ausbildungskurs des SVGW erfolgreich absolviert. Er sei daher als ausreichend fachkundig zu betrachten. Weitere Anforderungen wären unverhältnismässig. Eine Verweigerung der Bewilligung käme nur in Frage, wenn die Bewilligungsbehörde nachweisen könnte, dass die Installationsarbeiten des Rekurrenten im Versorgungsgebiet A._ erhebliche Mängel aufweisen würden. C. Dagegen erhob die Einwohnergemeinde Schaffhausen Beschwerde an das Obergericht des Kantons Schaffhausen mit dem Antrag, der Rekursentscheid sei aufzuheben und der Beschluss des Stadtrates vom 23. Dezember 2008 zu bestätigen. Das Obergericht hiess mit Entscheid von 26. November 2010 die Beschwerde teilweise gut, hob den Rekursentscheid des Regierungsrates auf und wies die Sache an die Städtischen Werke zurück, damit diese im Sinne der Erwägungen verfahren und neu entscheiden. Das Obergericht führte aus, entgegen der Auffassung des Regierungsrates gelte Ziff. 2.2.4 der Richtlinie GW1 nur für die ausführenden Installateure; die Betriebe, welche in eigener Verantwortung Installationsarbeiten ausführen, müssten aber gemäss Ziff. 2.2.1 für den vorgesehenen Tätigkeitsbereich fachkundig sein; der Nachweis der Fachkundigkeit müsse gemäss Ziff. 2.2.2 mit einem gültigen SVGW-Zertifikat nachgewiesen werden. Der Regierungsrat hätte die Fachkunde gestützt auf die Ziff. 2.2.1 und 2.2.2 prüfen müssen; X._ verfüge zwar offenbar über kein SVGW-Zertifikat, doch könne er unter bestimmten Voraussetzungen übergangsrechtlich ohne Nachweispflicht zertifiziert werden. Zu prüfen sei, ob er diese Voraussetzungen erfülle. In diesem Rahmen sei sodann auch zu prüfen, ob eine allfällige Marktzugangsbeschränkung aufgrund der städtischen Regelung mit Art. 3 BGBM vereinbar wäre. D. Mit Eingabe vom 14. Januar 2011 erhebt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der angefochtene Entscheid sei aufzuheben und es sei ihm die Berechtigung für Wasserinstallationen auf dem Versorgungsgebiet der Städtischen Werke zu erteilen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen und diese aufzufordern, dem Beschwerdeführer die Berechtigung zu erteilen. Das Obergericht des Kantons Schaffhausen verzichtet auf eine Vernehmlassung. Der Regierungsrat des Kantons Schaffhausen beantragt Gutheissung und die Stadt Schaffhausen Abweisung der Beschwerde, soweit darauf einzutreten sei. 