Sachverhalt: A. G._, geboren 1955, arbeitete seit dem 1. März 1988 als kaufmännischer Leiter bei der Firma X._ AG und war bei der Schweizerischen Unfallversicherungsanstalt (SUVA) für die Folgen von Berufs- und Nichtberufsunfällen sowie Berufskrankheiten versichert. Nachdem er am 16. August 2003 mit einem vierrädrigen Motorrad gestürzt war und sich dabei eine Deckplattenimpressionsfraktur auf Höhe des Lendenwirbelkörpers (LWK) 1 zugezogen hatte, erlitt er, kurz nach Wiederaufnahme seiner Erwerbstätigkeit zu 100 % am 10. November 2003, am 27. Dezember 2003 einen Skiunfall. Als er bei der Abfahrt einer Kollision mit einem anderen Skifahrer ausweichen musste, stürzte er und rutschte in der Folge, wie er der SUVA am 13. Juli 2004 berichtete, in hohem Tempo einen steilen Hang hinunter, flog über eine Böschung und dann in eine Tanne, wo er bewusstlos liegen geblieben sei. Unter Schmerzen sei er später zur Talstation gelangt, von wo er zu seinem Hausarzt Dr. med. K._, Allgemeine Medizin FMH, gebracht wurde. Gemäss dessen Angaben vom 11. Februar 2004 und vom 8. August 2004 bestanden diverse Prellungen an Kopf und Rücken, der Patient sei verwirrt gewesen und habe über Schmerzen geklagt. In der Folge sei eine frische Deckplattenimpressionsfraktur auf Höhe des Brustwirbelkörpers (BWK) 10 festgestellt worden. Am 7. Januar 2004 habe G._ ihn wegen sehr starker Kopfschmerzen konsultiert und habe im weiteren Verlauf auch über weitere Beschwerden wie insbesondere Erschöpfung, Ermüdbarkeit und Konzentrationsbeschwerden geklagt. Anhand des klinischen Verlaufs müsse er eine Commotio cerebri durchgemacht haben. Am 23. Mai 2004 wurde G._ durch den diensthabenden Arzt per Ambulanz ins Spital D._ eingewiesen, nachdem er am Morgen mit einem Pfeifen im rechten Ohr sowie massivem Schwindel erwacht war, unter Übelkeit litt und hatte erbrechen müssen. G._ wurde über Nacht hospitalisiert. Am 14. Juli 2004 wurde er im Neurologie-Zentrum H._ durch Dr. med. W._ untersucht. Nach dessen Einschätzung litt G._ an einem typischen posttraumatischen Spannungskopfweh sowie ausgeprägten kognitiven Defiziten (Merkfähigkeitsstörungen und Störung der exekutiven Funktionen; Bericht vom 15. Juli 2004). G._ konnte seine Erwerbstätigkeit am 17. Januar 2004 wieder zu 50 % aufnehmen und am 1. März 2004 auf 100 % steigern. Es folgten jedoch weitere Unterbrüche, so nach der Hospitalisation im Spital D._, nach welcher der Versicherte erst ab 1. Juni 2004 wieder zu 50 % arbeitsfähig war. Die Reduktion des Arbeitspensums stand denn auch nach Einschätzung des Dr. med. W._ sowie des Hausarztes Dr. med. K._ als therapeutische Massnahme im Vordergrund. Die Beschwerden persistierten jedoch, weshalb der Versicherte vom 19. Oktober bis zum 6. November 2004 zur Rehabilitation in der Klinik V._ hospitalisiert wurde. In der Folge nahm er seine Erwebstätigkeit wieder zu 50 % auf und steigerte sie im Januar 2005 auf 100 %. G._ klagte jedoch weiterhin über starke Kopfschmerzen und kognitive Defizite, weshalb Dr. med. W._ am 19. Oktober 2005 eine Reduktion der Berufstätigkeit auf 50 % verbunden mit dem Antrag auf eine Rente der Invalidenversicherung empfahl. Zufolge der Situation am Arbeitsplatz hielt der Versicherte jedoch weiterhin ein 100%-Pensum ein bis zum 30. Oktober 2006. Wegen unveränderter Beschwerden attestierte Dr. med. S._, Allgemeine Medizin FMH, zunächst für eine Woche eine 100%ige, ab dem 6. November 2006 eine 50%ige Arbeitsunfähigkeit, worauf sich G._ am 26. November 2006 zum Bezug von Leistungen der Invalidenversicherung anmeldete. Im Februar 2007 wurde er von der Arbeitgeberin freigestellt und das Arbeitsverhältnis wurde gekündigt. Am 23. Mai 2007 übernahm die Invalidenversicherung die Kosten für die Umschulung zum Hauswart auf selbstständiger Basis bei der Höheren Fachschule ab 1. Oktober 2007 bis zum 31. Dezember 2009. Mit Verfügung vom 28. November 2007 und Einspracheentscheid vom 6. Februar 2008 schloss die SUVA den Fall ab und stellte ihre Leistungen per 30. November 2007 ein mit der Begründung, dass die noch geklagten Beschwerden organisch objektiv nicht ausgewiesen seien und, beurteilt nach der sogenannten Schleudertrauma-Praxis, nicht in adäquatem Kausalzusammenhang zu dem am 27. Dezember 2003 erlittenen Skiunfall stünden. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 2. Juni 2009 ab. C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei die Sache zur weiteren Abklärung an die SUVA zurückzuweisen, eventualiter seien ihm auch über den 30. November 2007 hinaus die gesetzlichen Versicherungsleistungen zuzusprechen. Während die SUVA auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Gesundheit auf eine Vernehmlassung. 