Sachverhalt: A. A.a A._ (Käufer, Kläger, Beschwerdeführer) schloss mit B._ (Verkäufer, Beklagter) am 22. Juni 2006 einen öffentlich beurkundeten Kaufvertrag über das Grundstück "Y._" GB Nr. zzz._ in Q._ ab. Sie vereinbarten darin insbesondere Folgendes: Ziff. IV.2 des Vertrages: "Die Kaufspartei wird von der Verkaufspartei ausdrücklich ermächtigt, das Kaufsobjekt zu betreten und für die geplante Überbauung auf GB-Bl. zzz._ bei den zuständigen Behörden im eigenen Namen Baugesuche einzureichen und damit verbundene Verfahren als Gesuchstellerin und Bauherrschaft durchzuführen, gegen Übernahme der daraus resultierenden Kosten und Gebühren. Die Verkaufspartei verpflichtet sich, sämtliche entsprechenden Eingaben und Bewilligungsgesuche als Grundeigentümer mitzuunterzeichnen und Hand zu allen notwendigen Vorkehrungen zu bieten, damit eine Überbauung des Kaufsobjektes ermöglicht wird; vorbehalten bleiben die Einhaltung der öffentlich- und privatrechtlichen Bauvorschriften durch die Kaufspartei. Mit den Bauarbeiten auf dem Kaufsobjekt darf jedoch erst nach erfolgter Eigentumsübertragung des Kaufsobjektes an die Kaufspartei begonnen werden. Die Kaufspartei ist verpflichtet, bis spätestens am 30. September 2006 eine Baueingabe für GB-Bl. zzz._ einzureichen." Ziff. IV.3 des Vertrages: "Der vorliegende Vertrag wird aufgelöst, - wenn die Baueingabe nicht fristgerecht eingereicht wird, - wenn aus Gründen, die bei der Kaufspartei liegen, die Eigentumsübertragung nicht innert 3 Monaten nach Rechtskraft der Bewilligung erfolgt, - wenn nach Rückzug oder Abweisung des Baugesuches nicht innert 3 Monaten eine neue Baueingabe erfolgt." A.b Am 27. Oktober 2006 reichte der Käufer beim Bezirk Q._ ein Gesuch um Gestaltungsplanänderung ein, verbunden mit einer Baueingabe. Diese Eingaben wurden in der Folge mehrfach abgeändert und bearbeitet. Ab dem 22. November 2007 führten der Käufer und der Verkäufer einen mehrfachen Briefwechsel durch, in dem sich der Verkäufer unzufrieden über die lange Dauer der Geschäftsabwicklung zeigte. A.c Am 22. bzw. 26. Februar 2008 reichte der Käufer ein erneutes Gesuch um Gestaltungsplanänderung ein. Mit Blick auf dieses neu eingereichte Gesuch zog er das ursprüngliche Baugesuch vom 27. Oktober 2006 am 7. März 2008 zurück. A.d Zu einem nicht genau bekannten Zeitpunkt, jedoch nach Ende Juli 2008, zog der Verkäufer das Gestaltungsplanänderungsgesuch vom 22. bzw. 26. Februar 2008 ohne Rücksprache mit dem Käufer zurück und verkaufte das Grundstück an einen Dritten. Der (ursprüngliche) Käufer sah darin eine Vertragsverletzung und drohte dem Verkäufer die Geltendmachung des negativen Vertragsinteresses an. B. B.a Am 23. Januar 2009 erhob der Käufer Klage beim Bezirksgericht Küssnacht mit dem Begehren, der Verkäufer sei zur Zahlung von Fr. 264'783.60 zu verurteilen. Während des erstinstanzlichen Verfahrens verstarb der Verkäufer B._. Der Prozess wurde von seinen Erben, C._ (Beschwerdeführerin 1), D._ (Beschwerdeführerin 2), E._ (Beschwerdeführer 3) und F._ (Beschwerdeführerin 4) weitergeführt. Mit Urteil vom 16. Dezember 2010 wies das Bezirksgericht Küssnacht die Klage ab. B.b Gegen dieses Urteil erhob der Käufer am 7. Januar 2011 Berufung an das Kantonsgericht Schwyz und beantragte, das Urteil des Bezirksgerichts sei aufzuheben und die Erben des Verkäufers seien zur Zahlung von Fr. 264'783.60 zu verurteilen. Mit Urteil vom 18. Oktober 2011 wies das Kantonsgericht Schwyz die Berufung ab, soweit es darauf eintrat. C. Mit Beschwerde in Zivilsachen vom 6. Dezember 2011 beantragt der Käufer dem Bundesgericht, es sei das Urteil des Kantonsgerichts Schwyz aufzuheben und es seien die Beschwerdegegner zur Zahlung von Fr. 264'783.60 zu verurteilen, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Beschwerdegegner und die Vorinstanz beantragen die Abweisung der Beschwerde, soweit darauf einzutreten ist. Die Parteien reichten am 13. bzw. am 29. März 2012 unaufgefordert Replik und Duplik ein. D. Am 14. Mai 2012 reichte der Beschwerdeführer eine als "Ausstandsbegehren" betitelte Eingabe ein. Darin beantragte er in Ergänzung zu seiner Beschwerde die Aufhebung des vorinstanzlichen Entscheids wegen Verletzung der Ausstandsvorschriften gemäss Art. 51 Abs. 1 ZPO sowie die Wiederholung des Verfahrens vor einem neutral konstituierten Gericht. 