Sachverhalt: A. Dr. med. A._, Facharzt für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, führte am Zentrum X._ mit einem FONAR Upright Gerät spezialisierte diagnostische MRI-Aufnahmen durch. Mit Schreiben vom 14. Dezember 2006 und 26. Januar 2007 stellte sich die CSS Kranken-Versicherung AG (CSS) auf den Standpunkt, die Abrechnung dieser Untersuchungen erfolge nicht tarifkonform; sie ersuchte Dr. med. A._ um die Rückerstattung zu viel erbrachter Vergütungen. Da dieser seine Leistungsabrechnungen als tarifkonform erachtete und eine Rückerstattung ablehnte, reichte die CSS am 27. Juni 2007 bei der Kantonalen Paritätischen Kommission (Ärztegesellschaft und santésuisse; KPK) gegen Dr. med. A._ ein Rückforderungsbegehren ein. Mit Beschluss vom 22. Januar 2008 unterbreitete die KPK den Parteien einen Vergleich mit Widerrufsvorbehalt. Diesen lehnte Dr. med. A._ am 10. März 2008 ab. B. Am 16. Juni 2008 erhob die CSS beim Schiedsgericht in Sozialversicherungsstreitigkeiten des Kantons Zürich Klage mit dem Rechtsbegehren, Dr. med. A._ sei zu verpflichten, ihr den Betrag von Fr. 12'915.70 (eventualiter Fr. 5'818.10) zuzüglich 5 % Zins seit 1. Dezember 2007 zu bezahlen. In der Klageergänzung vom 15. Oktober 2008 hielt sie an dem gestellten Rechtsbegehren fest. Dr. med. A._ beantragte in der vorläufigen Stellungnahme vom 11. September 2008 und der Klageantwort vom 28. November 2008 die Abweisung der Klage. Am 4. Dezember 2008 wurde der Schriftenwechsel geschlossen. Anlässlich der Bestellung des Schiedsgerichts im Juli 2010 ersuchte Dr. med. A._ erfolglos um die Durchführung einer mündlichen Verhandlung. In teilweiser Gutheissung der Klage verpflichtete das Schiedsgericht Dr. med. A._ mit Entscheid vom 4. Februar 2011 zur Rückerstattung von Fr. 5'818.10 nebst Zins zu 5 % seit 16. Juni 2008. Im Mehrbetrag wies es die Klage ab. C. Dr. med. A._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt die Aufhebung des vorinstanzlichen Entscheides soweit, als er damit zu einer Rückerstattung verpflichtet wird; eventualiter sei die Sache zur ergänzenden Abklärung sowie zur Durchführung einer öffentlichen Verhandlung an die Vorinstanz zurückzuweisen. Die CSS beantragt Abweisung der Beschwerde. Vorinstanz und Bundesamt für Gesundheit verzichten auf Vernehmlassung. 