Sachverhalt: A. A.a A. X._ und B. X._ (Kläger) sind seit dem 1. Januar 1971 Mieter einer 5-Zimmerwohnung in Zürich. Ende Juni 1990 erwarb Y._ (Beklagter) diese Liegenschaft und veräusserte sie mit Vertrag vom 5. September 2000 der Y._ Immobilien AG (nachfolgend: Aktiengesellschaft), die er als Alleinaktionär und Verwaltungsratspräsident beherrscht. Der Handwechsel wurde den Klägern nicht mitgeteilt. Mit amtlichem Formular vom 19. März 2002 kündigte der Beklagte bzw. dessen Liegenschaftenverwaltung den Mietvertrag mit der Begründung "Eigenbedarf" frist- und formgerecht auf den 30. September 2002. A.b Mit Eingabe vom 16. April 2002 beantragten die Kläger der Schlichtungsbehörde des Bezirks Zürich die Erstreckung des Mietverhältnisses um drei Jahre. Anlässlich der Schlichtungsverhandlung vom 11. Juni 2002 verlangten die Kläger, nunmehr anwaltlich vertreten, es sei die Kündigung als missbräuchlich zu erklären, eventualiter das Mietverhältnis um drei Jahre zu erstrecken. Nach durchgeführter Verhandlung einigten sich die Parteien auf die Gültigkeit der Kündigung per 30. September 2002 und die letztmalige Erstreckung des Mietverhältnisses bis und mit 30. Juni 2005. Hierauf wurde das Verfahren mit Beschluss vom 11. Juni 2002 als durch Vergleich erledigt abgeschrieben. A.c Nachdem die Kläger im März 2004 erfahren hatten, dass nicht mehr der Beklagte, sondern die Aktiengesellschaft als Eigentümerin im Grundbuch eingetragen war, reichten sie gegen diese bei der Schlichtungsbehörde Zürich am 14. April 2004 ein Revisionsbegehren ein mit den Anträgen, den Beschluss vom 11. Juni 2002 aufzuheben und festzustellen, dass der anlässlich der Schlichtungsverhandlung geschlossene Vergleich für die Kläger wegen Irrtums über die Person des Vermieters unverbindlich sei. Die Schlichtungsbehörde berichtigte das Rubrum, indem sie statt der Aktiengesellschaft den Beklagten aufführte, und wies das Revisionsbegehren im Übrigen ab. B. Am 16. Dezember 2004 reichten die Kläger dem Mietgericht Zürich Klage ein mit den Begehren, den Beschluss der Schlichtungsbehörde vom 11. Juni 2002 aufzuheben und festzustellen, dass der mit dem Beklagten abgeschlossene Vergleich vom 11. Juni 2002 für die Kläger unverbindlich sei. Ferner sei die Sache zur Durchführung des Schlichtungsverfahrens und zu neuer Beurteilung der Kündigungsschutzbegehren an die Schlichtungsbehörde zurückzuweisen. Das Mietgericht hielt sich - entgegen der Auffassung des Beklagten - für zuständig und wies die Klage am 17. Juni 2005 ab. Das Obergericht des Kantons Zürich wies am 11. April 2006 sowohl den Rekurs des Beklagten als auch die Berufung der Kläger ab und bestätigte den angefochtenen Entscheid. C. Die Kläger führen Berufung beim Bundesgericht und erneuern im Wesentlichen ihre im kantonalen Verfahren gestellten Anträge. Eventualiter beantragen sie, die Sache an die Vorinstanz zurückzuweisen. Der Beklagte schliesst auf Abweisung der Berufung, soweit darauf einzutreten sei. 