Sachverhalt: A. A.a Mit Partnerschaftsvertrag vom 19. Dezember 1995 schlossen sich A._ (Beschwerdeführer), B._ (Beschwerdegegner 1), C._ (Beschwerdegegner 2), D._ (Beschwerdegegner 3) sowie weitere Personen mit Wirkung ab 1. April 1996 zur Anwaltskanzlei C. A._ & Partner zusammen. Am 30. Juni 2000 verliess der Beschwerdeführer die Partnerschaft. In der Folge entzündete sich zwischen den Parteien ein Streit über die finanziellen Folgen der Auflösung der Partnerschaft. A.b Ziff. 18 des Partnerschaftsvertrages enthält eine Schiedsklausel mit folgendem Wortlaut: "18. Schiedsabrede Alle sich aus diesem Partnerschaftsvertrag ergebenden Streitigkeiten werden von einem durch den Präsidenten des Standesgerichts des Vereins Zürcherischer Rechtsanwälte ernannten Schiedsrichter endgültig entschieden. Das Schiedsgericht hat seinen Sitz in Zürich. Das Verfahren richtet sich nach der Zivilprozessordnung des Kantons Zürich." Gestützt darauf ersuchte der Beschwerdeführer mit Schreiben vom 16. Juli 2001 den Präsidenten des Standesgerichts um Ernennung eines Schiedsrichters. Das Schreiben trägt die Überschrift "Streitfall betr. Auflösung der ehemaligen Partnerschaft [...]" und enthält im Text folgende Begründung: "Seit Auflösung der Partnerschaft (30.06.2000) habe ich alles vernünftige unternommen, um eine friedliche Lösung für die finanziellen Folgen der Partnerschaftsauflösung zu finden. Alle meine Bemühungen sind leider gescheitert." Mit Verfügung vom 13. September 2001 setzte der vom Präsidenten des Standesgerichts ernannte Einzelschiedsrichter den Parteien Frist zur Leistung eines Vorschusses von je Fr. 25'000.-- unter der Androhung, dass er bei Nichtzahlung seine Unzuständigkeit erklären würde bzw. dass bei Zahlung nur durch eine Partei dieser die Möglichkeiten von Art. 30 Abs. 2 des Konkordats über die Schiedsgerichtsbarkeit vom 27. März 1969 eingeräumt würden. Mit Verfügung vom 7. November 2001 stellte der Einzelschiedsrichter fest, dass das Schiedsgericht unzuständig sei. Zur Begründung führte er aus, dass der Beschwerdeführer die Frist zur Leistung des Vorschusses unbenutzt habe verstreichen lassen und die Beschwerdegegner innert Frist geantwortet hätten, der Vorschuss werde nicht bezahlt, da er in keinem Verhältnis zum strittigen Betrag stehe; da der Einzelschiedsrichter noch keine Kenntnis über den strittigen Betrag habe und beide Parteien innert Frist keinen Vorschuss bezahlt hätten, sei androhungsgemäss die Unzuständigkeit des Schiedsgerichts festzustellen, da sinngemäss auf Anrufung des Schiedsgerichts verzichtet werde. Diese Verfügung blieb unangefochten. B. B.a Mit Klage vom 9. April 2008 beantragte der Beschwerdeführer dem Bezirksgericht Meilen, es seien die Beschwerdegegner zu verurteilen, dem Beschwerdeführer "für die Zeit vom 1. April 1996 bis 31. Dezember 2000 eine vollständige unverfälschte Buchhaltung der Kanzlei C. A._ & Partner unter Einbezug von auf Privatkonti abdisponierten Honorareinnahmen und Honorarforderungen vorzulegen" sowie eine "nach Vorliegen der unverfälschten Buchhaltung noch zu beziffernde Summe, resultierend aus dem Ausscheiden des Klägers aus der seinerzeitigen Anwaltssozietät C. A._ & Partner per 21. Dezember 2000 zu bezahlen". Mit Beschluss vom 12. Januar 2009 trat das Bezirksgericht nicht auf die Klage ein und auferlegte dem Beschwerdeführer die Gerichts- und Parteikosten. Zur Begründung führte das Bezirksgericht aus, dass die Beschwerdegegner rechtzeitig die Einrede der Schiedsvereinbarung erhoben hätten. An die im Partnerschaftsvertrag vom 19. Dezember 1995 enthaltene Schiedsklausel seien die Parteien nach wie vor gebunden, da die Parteien die Schiedsabrede weder konkludent aufgehoben, noch gemäss Art. 30 Abs. 2 KSG darauf verzichtet hätten. Damit entfalle die Zuständigkeit der staatlichen Gerichte. B.b Dagegen legte der Beschwerdeführer beim Obergericht des Kantons Zürich Rekurs ein. Mit Beschluss vom 28. Mai 2009 hiess das Obergericht den Rekurs hinsichtlich der Höhe der vom Beschwerdeführer an die Beschwerdegegner zu leistende Prozessentschädigung teilweise gut und bestätigte im Übrigen den angefochtenen Beschluss des Bezirksgerichts. Das Obergericht kam wie das Bezirksgericht zum Schluss, dass die im Partnerschaftsvertrag enthaltene Schiedsklausel der Zuständigkeit des Bezirksgerichts entgegenstehe. Die Parteien hätten mit der Nichtleistung des Kostenvorschusses zwar auf das vom Beschwerdeführer im Jahr 2001 eingeleitete Schiedsverfahren verzichtet, nicht aber auf die Schiedsvereinbarung schlechthin. Eine rechtsgeschäftliche Aufhebung der Schiedsabrede habe nicht stattgefunden. Mit der beim Bezirksgericht eingereichten Klage werde zudem nicht die gleiche Streitsache geltend gemacht wie im Schiedsverfahren im Jahr 2001, weshalb die Schiedsklausel diesbezüglich nach wie vor bindend sei. B.c Mit Zirkulationsbeschluss vom 3. September 2010 trat das Kassationsgericht auf die vom Beschwerdeführer gegen den Beschluss des Obergerichts eingereichte Nichtigkeitsbeschwerde nicht ein. C. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, es sei der Beschluss des Obergerichts des Kantons Zürich vom 28. Mai 2009 aufzuheben und festzustellen, dass das Bezirksgericht Meilen für die Behandlung der Klage zuständig ist. Die Beschwerdegegner beantragen in ihrer Vernehmlassung, es sei auf die Beschwerde nicht einzutreten, eventualiter sei sie abzuweisen, soweit darauf einzutreten ist. Die Vorinstanz verzichtet auf Vernehmlassung. 