Faits: A. Depuis mars 2006, A._ est propriétaire de la parcelle n° 6207 du registre foncier de la commune de Vex. Sur ce bien-fond, situé en zone agricole, est érigé un chalet d'habitation. Le 2 novembre 2006, un inspecteur de la Police des constructions de l'Etat du Valais a constaté que des travaux de transformation du chalet avaient été entrepris sans autorisation (réalisation non achevée d'une couverture sur la terrasse, située à l'est, dans le prolongement de la toiture du chalet; construction d'un couvert attenant à la façade ouest du bâtiment). Le 10 avril 2007, la Commission cantonale des constructions (ci-après: la CCC) a ordonné la remise en état des lieux conforme au droit (suppression de la couverture sur la terrasse ainsi que du couvert) dans un délai de quatre mois dès l'entrée en force de sa décision. B. Le 4 mai 2007, A._ a déposé une demande d'autorisation de construire portant sur trois objets: le couvert déjà réalisé, une cabane de jardin (3,30 m x 3 m) et des transformations à l'intérieur et l'extérieur du chalet; ces transformations consistaient à construire une annexe (4 m x 1,60 m) abritant un escalier sur la terrasse est, à supprimer l'escalier actuel et à créer un nouvel espace (3 m x 1,40 m) agrandissant la cave sise au rez-de-chaussée. Ce projet a été préavisé positivement par la Commune de Vex et négativement par la Sous-commission des sites qui mentionnait notamment que l'identité du bâtiment n'était pas maintenue. Quant au Service de l'aménagement du territoire (actuellement le Service du développement territorial, ci-après: le SDT), il a transmis un préavis positif excepté pour le cabanon de jardin. L'intéressé a, le 28 janvier 2008, déposé un nouveau dossier d'autorisation suite aux remarques formulées par la CCC. Le nouveau projet, identique au premier concernant le couvert et la cabane de jardin, prévoyait d'abaisser le niveau du sol de la cave de 80 cm, de creuser au nord-est un escalier extérieur (3,20 m x 1 m) permettant l'accès à cette cave, de créer un escalier intérieur dans un nouvel espace au sud-est (3,20 m x 2 m) et de fermer la terrasse à l'étage côté est (5,50 m x 3,20 m) afin d'y abriter un bureau et l'arrivée du nouvel escalier. La mise à l'enquête publique n'a suscité aucune opposition. La Commune de Vex a transmis le dossier à la CCC en indiquant que la distance aux limites côté sud-est (dévaloir communal) n'était apparemment pas respectée. Le dossier a été préavisé négativement par le SDT ainsi que par la Sous-commission des sites, cette dernière précisant que l'identité du bâtiment n'était pas respectée. Par décision du 11 septembre 2008, notifiée le lendemain, la CCC a refusé l'autorisation de construire, l'agrandissement projeté n'étant pas compatible avec le respect de l'identité de la construction existante; elle se fondait sur les calculs réalisés par le SDT qui estimait que l'agrandissement des surfaces brutes de plancher utiles (SBPu) ajoutées aux surfaces annexes (SA) était supérieur à la limite prévue par la loi fixée à 30 %. Le projet ne pouvait donc bénéficier d'une autorisation dérogatoire au sens des art. 24c LAT, 41 et 42 de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire (OAT; RS 700.1). Le 23 juin 2010, le Conseil d'Etat a rejeté le recours déposé par A._ contre la décision de la CCC: les limites posées par l'art. 42 OAT étaient dépassées et, en outre, le projet ne respectait pas l'identité de la construction existante et n'améliorait pas son esthétique pour l'essentiel. C. Par arrêt du 5 novembre 2010, la Cour de droit public du Tribunal cantonal valaisan (ci-après: le Tribunal cantonal) a rejeté le recours formé par A._. Elle a rectifié le calcul de l'agrandissement projeté pour l'arrêter à 30,2 % et a estimé qu'un refus fondé sur cette seule constatation serait peu équitable si, pour le reste, l'identité du bâtiment était préservée. Or, elle a considéré, en s'appuyant sur les avis de la Sous-Commission des sites - concernant le premier dossier d'autorisation - et de la CCC, que les transformations projetées modifieraient sérieusement la construction d'origine et a donc confirmé le refus de délivrer l'autorisation dérogatoire pour les transformations prévues sur le côté est du chalet. Elle a enfin relevé que la CCC a refusé sans autre motivation le couvert ouest et la cabane de jardin, ce que le recourant n'a toutefois pas contesté devant elle. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal, ainsi que la décision du Conseil d'Etat du 23 juin 2010 et celle de la CCC du 11 septembre 2008. Il conclut principalement à l'octroi de l'autorisation de construire - excepté pour le cabanon de jardin - et subsidiairement au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il se plaint en substance d'une application erronée de l'art. 42 OAT. Le Tribunal cantonal, la CCC et l'Office fédéral du développement territorial renoncent à se déterminer. Le Conseil d'Etat renvoie à l'arrêt attaqué et propose le rejet du recours. La Commune de Vex se réfère à sa prise de position du 21 octobre 2008. 