Faits: A. A._ a acquis au mois d'août 2007 la parcelle n° 3028 de la commune d'Hérémence. Celle-ci est située en zone agricole et dans la zone de "danger d'avalanche rouge" - soit la zone de danger le plus élevé - selon le plan de zone communal adopté en 1998. Il s'y trouvait un chalet dont la construction avait été autorisée en 1976, mais qui avait été emporté par une avalanche en cours de travaux, en 1978. Seul subsistait alors le socle en maçonnerie, recouvert d'un toit de tôles changé en 1998 sur injonction de la commune. Le 26 septembre 2007, la Commission cantonale des constructions (ci-après: la CCC) a constaté que des travaux de transformation avaient été entrepris sans autorisation sur le chalet; elle en a ordonné l'arrêt immédiat. Le 28 septembre 2007, A._ a déposé une demande d'autorisation de construire portant sur l'achèvement et l'adaptation des travaux autorisés en 1976. Par décision du 15 mai 2008, la CCC a refusé l'autorisation de construire et ordonné la suppression du bâtiment et une remise en état du profil et de la végétation de la parcelle. A._ a requis en vain la reconsidération de cette décision et a saisi le Conseil d'Etat qui, par décision du 7 octobre 2009, a rejeté le recours. Le bâtiment se trouvait à l'état de ruine jusqu'en 2007. Une reconstruction n'était pas possible dans la zone d'avalanche, de surcroît de nature forestière. B. Par arrêt du 18 février 2010, la Cour de droit public du Tribunal cantonal valaisan a rejeté le recours formé par A._. Le projet concerné par le permis de construire de 1976 n'avait pas été réalisé, de sorte que la construction actuelle n'avait pas été autorisée. En 1998, le Conseil communal avait invité le précédent propriétaire à refaire la toiture; cette décision n'était toutefois pas de la compétence des autorités communales, mais de la CCC s'agissant d'une construction hors de la zone à bâtir. Il n'était pas contesté que le bâtiment n'était pas utilisé à des fins agricoles, de sorte qu'une autorisation fondée sur les art. 15, 22 et 24 LAT était exclue. S'agissant d'une construction située à la fois en zone d'avalanche et en zone agricole, le délai de dix ans pour exiger une remise en état n'était pas opposable. C. A._ forme un recours en matière de droit public par lequel il demande l'annulation de l'arrêt cantonal. Le Tribunal cantonal et la CCC renoncent à se déterminer. Le Conseil d'Etat se réfère à sa décision et propose le rejet du recours, de même que la commune d'Hérémence. L'Office fédéral du développement territorial estime que la situation du bâtiment en zone agricole et en zone d'avalanche exclut une reconstruction et justifie l'ordre de remise en état. Le recourant a répliqué. 