Sachverhalt: A. A._ war seit dem Schuljahr 1984 als Primarlehrer in der Gemeinde X._ angestellt. Am 2./3. Juli 2007 führte er als Klassenlehrer mit der Primarschulklasse 6b eine zweitägige Schulreise durch, mit Übernachtung im Hotel. Weil er um 23.30 Uhr übermässige Geräusche aus einem der Schlafzimmer hörte, wollte er dort Nachschau halten. Beim Öffnen der Tür stand er vier Mädchen gegenüber, die sich im Knabenzimmer aufhielten, obwohl ihnen der Lehrer dies vorher ausdrücklich untersagt hatte. Die nachfolgenden Ereignisse wurden von den Beteiligten unterschiedlich geschildert. A._ gab an, er sei von der unerwarteten Situation überrascht worden, habe die ihm am nächsten stehende Schülerin kurz mit beiden Händen festgehalten und gefragt, was das solle. Daraufhin seien die vier Schülerinnen weggerannt, wobei er ihnen "ihr verdammten Weiber" nachgerufen habe. Die Schülerinnen erklärten demgegenüber, der Klassenlehrer habe das eine Mädchen mit beiden Händen um den Hals gepackt und gewürgt, so dass dieses in Panik geraten sei. Unmittelbar nach dem Vorfall benachrichtigten die Schülerinnen ihre Eltern, welche ihrerseits die Polizei informierten. Diese begab sich noch in der gleichen Nacht vor Ort und führte Befragungen durch. Sowohl A._ wie auch die Kantonspolizei orientierten am 3. Juli 2007 den für die Klasse zuständigen Schulleiter über die Vorkommnisse der vorangegangenen Nacht. Überdies gingen Anfragen von Eltern ein, welche ihre Kinder unter den gegebenen Umständen nicht mehr in die Schule schicken wollten. Die Mutter der Schülerin, welche beim Verlassen des Knabenzimmers vom Lehrer festgehalten worden war, teilte dem Schulratspräsidenten mit, ihre Tochter habe sich in ärztliche Behandlung begeben müssen. Zudem werde gegen den Klassenlehrer wegen Tätlichkeit Strafanzeige erstattet. Am 4. Juli 2007 wurde A._ in Anwesenheit des Präsidenten und des Vizepräsidenten des Schulrats sowie des Schulleiters zu den Begebenheiten befragt. Dieser gab unter anderem an, am Abend des 2. Juli 2007 zusammen mit seiner Begleiterin zwischen 19.00 Uhr und 23.00 Uhr eine halbe Flasche Rotwein getrunken zu haben. Im Anschluss an die Befragung wurde vereinbart, dass A._ für die verbleibenden drei Tage bis zu den Sommerferien vom Schuldienst dispensiert werde und das Schulzimmer sofort zu räumen habe. Das Lehrerteam und die Eltern des Schulkreises wurden über die sofortige vorläufige Suspendierung von A._ informiert. Eine Anfrage bei der Wirtin des Hotels ergab, dass A._ und seine Begleiterin an jenem Abend insgesamt einen Grappa, einen halben Liter Weisswein und eine Flasche Rotwein konsumiert hatten, was dieser in der Folge gegenüber der Polizei zugab. Die Kantonspolizei orientierte zudem über den Eingang einer Strafanzeige gegen den Klassenlehrer. Die betroffene Schülerin wurde psychologisch betreut. Anlässlich der Sitzung vom 9. Juli 2007 bestätigte der zuständige Schulrat die vorläufige Suspendierung von A._. Zudem wurde beschlossen, dass dieser auch nach den Sommerferien in X._ keinen Schulunterricht mehr erteilen werde. Für die für ihn vorgesehene Klasse werde eine andere Lehrperson gesucht. Weiter wurde beschlossen, A._ im Hinblick auf die weiteren personalrechtlichen Konsequenzen das rechtliche Gehör einzuräumen. Das weitere Vorgehen wollte der Schulrat zunächst mit dem Rechtskonsulenten der Gemeinde besprechen. Der Schulratspräsident informierte A._ am 10. Juli 2007 telefonisch und am 12. Juli 2007 schriftlich über den Entscheid des Schulrates. Es wurde vereinbart, dass sich A._ nach der Rückkehr von seiner Weiterbildung anfangs der Woche vom 16. Juli 2007 für eine Besprechung des weiteren Vorgehens melden werde. Am 18. Juli 2007 gelangte der mittlerweile von A._ beigezogene Rechtsvertreter an die Gemeinde X._ und verlangte Akteneinsicht sowie Gelegenheit zur Stellungnahme. Mit Schreiben vom 19. Juli 2007 kam der Rechtskonsulent der Gemeinde diesem Ersuchen nach. Gleichzeitig wies er darauf hin, dass aufgrund der Tätlichkeit gegen eine Schülerin, des Alkoholkonsums als Lehrperson während einer Schulreise und massiver verbaler Entgleisungen gegenüber den Schülern eine fristlose Auflösung des Anstellungsverhältnisses nicht ausgeschlossen erscheine. Der Besprechungstermin wurde auf den 26. Juli 2007 festgesetzt. Im Rahmen dieser Aussprache bestritt A._ den Vorwurf, eine Tätlichkeit begangen zu haben. Zudem hielt er fest, an jenem Abend zu keinem Zeitpunkt betrunken und damit nicht mehr in der Lage gewesen zu sein, seinen Aufsichtspflichten nachzukommen. Ebenfalls bestritten wurde der Vorwurf der verbalen Entgleisung. A._ räumte indessen ein, dass er aufgrund der grossen Publizität des Falles in der Bevölkerung kein Vertrauen mehr geniesse und daher nicht mehr in der Gemeinde X._ als Lehrer tätig sein könne. Hingegen erklärte er sich bereit, eine von der Gemeinde angebotene alternative Arbeit anzunehmen. An der Sitzung vom 27. Juli 2007 beschloss der Schulrat, das Anstellungsverhältnis mit A._ mit sofortiger Wirkung aufzulösen. Dies wurde A._ noch am gleichen Tag schriftlich eröffnet mit dem Hinweis, dass der begründete Entscheid mit Rechtsmittelbelehrung baldmöglichst zugestellt werde. Mit Schreiben vom 30. Juli 2007 bezeichnete dessen Rechtsvertreter die fristlose Kündigung als ungerechtfertigt und erklärte, sein Mandant biete der Gemeinde weiterhin seine Dienste an. Die schriftlich begründete Kündigungsverfügung wurde am 24. August 2007 zugestellt und ging am 27. August 2007 beim Betroffenen ein. B. A._ gelangte daraufhin an das Verwaltungsgericht des Kantons Graubünden. Dabei beanstandete er die Rechtmässigkeit der fristlosen Entlassung. Zudem beantragte er die Zahlung von Fr. 130'642.85 sowie einer Pönalentschädigung von Fr. 18'549.90, je zuzüglich Zins von jährlich 5 % seit dem 28. Juli 2007 und Abrechnung der Sozialversicherungsbeiträge. Das kantonale Verwaltungsgericht sistierte das Verfahren bis zum Abschluss des Prozesses in der gegen A._ erhobenen Strafanzeige wegen Tätlichkeit. Die I. Strafkammer des Kantonsgerichts von Graubünden sprach diesen mit Entscheid vom 27. Mai 2009 vom Vorwurf der Tätlichkeit frei, weil zwar der objektive Tatbestand erfüllt war, es jedoch am Vorsatz fehlte. Das Verwaltungsgericht hob daraufhin die Sistierung auf, setzte den Schriftenwechsel fort und führte eine mündliche Hauptverhandlung durch. Mit Entscheid vom 20. Dezember 2010 wies das kantonale Gericht die Beschwerde bzw. Klage ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, in Aufhebung des vorinstanzlichen Entscheids sei die Gemeinde X._ zu verpflichten, ihm brutto Fr. 130'642.85 (abzüglich Fr. 7'923.50 an erzieltem Einkommen) und eine Pönalentschädigung von Fr. 9'274.95 zu zahlen, je zuzüglich Verzugszins von 5 % seit 28. Juli 2007; zudem seien die Sozialversicherungsbeiträge abzurechnen. Eventuell sei die Sache an das kantonale Gericht zurückzuweisen. Die Gemeinde X._ und das Verwaltungsgericht des Kantons Graubünden schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten ist. D. Auf Ersuchen der Gemeinde X._ hat das Bundesgericht die im angefochtenen Entscheid erwähnten schriftlichen Plädoyernotizen des Rechtsvertreters von A._ beigezogen. 