Sachverhalt: A. A._ ist Eigentümer des Hotels E._ auf der Parzelle Nr. 57 sowie der daneben liegenden Geschäftsliegenschaft Parzelle Nr. 58 (Uhren- und Schmuckgeschäft) in der Gemeinde Samnaun. Im Jahre 2008 erwarb A._ eine angrenzende Kleinparzelle (143 m2), welche er mit der Hotelparzelle Nr. 57 vereinte. Am 12. August 2008 reichte A._ bei der Gemeinde Samnaun ein Baugesuch ein, welches im Bereich des neuerworbenen Landes eine Erweiterung der bestehenden Baute vorsah, umfassend eine Lagererweiterung im 1. Untergeschoss, eine Garagenerweiterung im 2. Untergeschoss sowie eine Terrassenvergrösserung im Erdgeschoss. Am 31. August 2008 erteilte die Baubehörde die entsprechende Bewilligung, nachdem keine Einsprache gegen das Projekt eingegangen war. Am 12. März 2009 stellte A._ ein Projektänderungsgesuch, welches unter anderem die Rückversetzung und eine Niveauerhöhung der Terrasse beinhaltete. Ausserdem sollte auf die ursprünglich geplante und bewilligte Mauerbrüstung bei der Terrasse verzichtet werden und stattdessen eine Glasumwandung von 1,35 Meter Höhe angebracht werden. Diese Projektänderung wurde am 30. April 2009 bewilligt. B. Am 16. Juni 2009 stellte das Bauamt anlässlich einer Begehung der Baustelle fest, dass umfangreiche Vorbereitungsarbeiten für die Montage von drei im Boden fest verankerten Grosssonnenschirmen, für sogenannte Senkfenster bei den Terrassenbrüstungen sowie für eine Warmluftheizungs- und Entlüftungsanlage im Gange waren. Das Bauamt wies A._ darauf hin, dass diese Anlagen nicht bewilligt worden seien und er dafür unverzüglich ein Baugesuch einreichen müsse. A._ kam dieser Aufforderung nach und reichte am 26. Juni 2009 ein entsprechendes Baugesuch ein. Allerdings bestritt er die Baubewilligungspflicht der drei Schirme und der dazugehörigen Einrichtungen. Gegen dieses Nachtragsgesuch erhoben C._ und die B._ AG (Nachbarn im Süden - Hotel F._) sowie die Eheleute D._ (Nachbarn im Osten - Eigentümer der Parzelle Nr. 54) Einsprache. In einem nachträglichen Schreiben vom 22. August 2009 an die Gemeinde Samnaun wies A._ darauf hin, dass die vorgesehenen Glaswände um ca. 16 Zentimeter höher als im Baugesuch angegeben ausfielen. Mit Entscheid vom 4. November 2009 wies die Gemeinde Samnaun das nachträgliche Baugesuch vom 26. Juni 2009 ab und hiess die dagegen eingereichten Einsprachen gut. A._ erhob gegen die Verweigerung der nachträglichen Baubewilligung Beschwerde ans Verwaltungsgericht des Kantons Graubünden. Dieses führte am 23. August 2010 einen Augenschein durch. Mit Urteil vom 24. August 2010 wies das Verwaltungsgericht die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 3. November 2010 beantragt A._, der Entscheid des Verwaltungsgerichts sei aufzuheben, und die Gemeinde Samnaun sei anzuweisen, die Baubewilligung für die nachgesuchte Projektänderung unter gleichzeitiger Abweisung der Einsprachen zu erteilen. Eventualiter sei festzustellen, dass die nachgesuchte Projektänderung nicht der Baubewilligungspflicht unterliege. Subeventualiter sei die Sache zur Ergänzung des Sachverhalts und zur Neubeurteilung an die Vorinstanz zurückzuweisen. Gleichzeitig stellte A._ das Gesuch, das Verfahren vor Bundesgericht sei bis zum Abschluss des derzeit laufenden Verfahrens über die Änderung des Baugesetzes in der Gemeinde Samnaun zu sistieren. Diesen Sistierungsantrag wies der Präsident der I. öffentlich-rechtlichen Abteilung mit Verfügung vom 5. Januar 2011 ab. Das Verwaltungsgericht stellt den Antrag, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Den gleichen Antrag stellen C._ und die B._ AG. Die Gemeinde Samnaun beantragt die Beschwerdeabweisung. 