Faits: A. A._ est associé gérant de la société Y._, dont le but est le commerce de fleurs et de matériel pour fleuristes. Le 6 novembre 1987, il a acheté la parcelle 480 de la commune de Servion d'une surface de 3'805 m2 pour le prix de 353'865 fr., soit 93 fr. le m2. A la suite d'une nouvelle mensuration cadastrale intervenue en 1994, le bien-fonds a désormais une surface de 3'829 m2. Située en bordure de la route cantonale 636b, à la sortie de Servion direction Mézières, au lieu-dit du Praz de Perey, la parcelle était classée en zone artisanale, soit en zone à bâtir, selon le plan des zones et le règlement communal sur l'aménagement du territoire approuvé par le Conseil d'Etat le 11 janvier 1984. Elle était destinée à accueillir le nouveau siège de la société Y._, ce qui devait permettre de réunir l'entier de la marchandise stockée en un seul lieu. A._ a participé aux frais relatifs à l'installation d'un collecteur et d'une station de refoulement pour un montant total de 28'966 fr. 30, selon factures des 14 juillet 1988, 7 avril et 1er décembre 1989. Le 15 mai 1992, l'atelier d'architecture X._ a établi un contrat d'étude pour la construction d'une halle industrielle sur la parcelle 480, devisée à 1'185'000 fr., prix d'acquisition du terrain non compris. Les honoraires d'architectes se sont élevés à 20'000 fr. Le 14 septembre 1992, la commune de Servion a délivré un permis de construire pour la construction d'une halle artisanale sur la parcelle 480. La société Y._ a dès lors cherché des entrepreneurs pour réaliser le projet. La meilleure offre n'était pas inférieure à 1'600'000 fr. et, comme la banque refusait une ligne de crédit supérieure à 1'400'000 fr., le projet souhaité n'a pas pu être réalisé. La société s'est dès lors installée dans ses locaux actuels à Servion. Bien qu'un étage supplémentaire ait été construit, ces locaux se sont avérés insuffisants pour emmagasiner tout le matériel, ce qui a obligé la société à continuer de louer des locaux dans des fermes de la région. A._ s'est intéressé à vendre la parcelle 480. Mais la question des stocks n'étant pas résolue, il nourrissait toujours le projet de bâtir une halle de stockage sur son bien-fonds et la recherche d'un acquéreur n'était pas très active. En 2003, B._ a approché A._ car il souhaitait acquérir la parcelle 480 afin d'y construire une halle industrielle. Ayant appris que la commune de Servion élaborait un nouveau plan général d'affectation qui classait ce bien-fonds en zone non constructible, il a cependant renoncé à l'acheter. B. Le plan des zones et le règlement communal sur l'aménagement du territoire approuvés par le Conseil d'Etat le 11 janvier 1984 ne permettant pas la maîtrise du développement de la commune de Servion, les autorités ont décidé d'établir un plan directeur communal pour définir les grandes lignes de l'aménagement futur et poser les principes de révision du plan des zones. Approuvé par le Conseil d'Etat le 10 mars 1998, le plan prévoit notamment que le secteur de la zone artisanale le long de la route cantonale 636b, soit les parcelles 480, 492, 421 et 417 situées au Praz du Perey, est trop étendu et devrait être transformé. Plus spécifiquement, des constructions sur les zones artisanales au Praz de Perey étendraient le village le long de la route cantonale et modifieraient considérablement le paysage à l'entrée de Servion. Le plan prévoit donc de délimiter le secteur d'activités artisanales en limitant l'étendue de sa zone en direction de Mézières et de réaffecter les terrains dans le secteur du Praz de Perey. Après avoir obtenu l'aval des Services de l'Etat lors de l'examen préalable, le nouveau plan général d'affectation de la commune de Servion a été approuvé par le Département cantonal des infrastructures le 25 août 2004 et mis en vigueur le 10 janvier 2006. Conformément au plan directeur communal, le plan général d'affectation prévoit que le secteur comprenant la parcelle 480 est colloqué en zone intermédiaire. Selon le rapport de conformité, ceci a pour but d'assurer une meilleure concentration des bâtiments artisanaux et de limiter les nuisances provoquées par la proximité de la zone artisanale et de la zone villas. L'art. 18 du plan précise que la zone intermédiaire n'est pas constructible tant que les besoins en construction à Servion peuvent être contenus dans les zones prévues à cet effet. En cas d'extension des zones à bâtir, certaines parcelles pourront être libérées, sur la décision du conseil général, et être affectées à de nouveaux besoins. Des constructions liées à l'agriculture peuvent néanmoins être autorisées dans la zone intermédiaire, pour autant qu'elles ne compromettent pas l'affectation future et qu'elles répondent aux règles de la zone agricole. C. Par demande du 9 janvier 2007, A._ a conclu à ce que la commune de Servion soit sa débitrice de la somme de 887'450 fr. (qu'il a ensuite réduite à 696'000 fr.) avec intérêts à 5 % l'an dès le 10 janvier 2006. Selon le rapport du 14 mars 2008 et son complément du 16 mai 2008, l'expert C._ a estimé que la valeur du m2 en zone intermédiaire à Servion était de 96 fr. au 10 janvier 2006. Il précisait que la parcelle 480 n'était pas inconstructible et que le prix de 4 fr. le m2 d'un terrain en zone agricole ne lui était pas applicable. En outre, un terrain constructible en zone artisanale à Servion était évalué à 150 fr. le m2 au 10 janvier 2006. Après avoir procédé à une inspection locale et entendu plusieurs témoins, le Tribunal d'expropriation de l'arrondissement de l'Est vaudois (ci-après: le Tribunal d'expropriation) a rejeté les conclusions de la demande de A._, par jugement du 20 mars 2009. Par arrêt du 29 juillet 2009, la Chambre des recours du Tribunal cantonal du canton de Vaud (ci-après: la Chambre des recours) a rejeté l'appel de A._ et confirmé le jugement précité. Elle a considéré en substance que, dans les circonstances du cas particulier, l'intéressé n'avait pas subi une atteinte grave à son droit de propriété, si bien qu'il ne pouvait prétendre à une indemnité d'expropriation. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt précité de la Chambre des recours en ce sens que le recours est admis et le jugement du Tribunal d'expropriation du 20 mars 2009 est réformé, les conclusions de sa demande du 9 janvier 2007 étant admises, avec suite de frais, la commune de Servion étant débitrice à son égard de la somme de 559'034 fr., avec intérêts à 5 % dès le 10 janvier 2006, et avec suite de dépens des première et deuxième instances. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué, la cause étant renvoyée à la Chambre des recours pour nouveau jugement dans le sens des considérants et, le cas échéant, l'arrêt du Tribunal d'expropriation du 20 mars 2009 étant également annulé. Le recourant se plaint d'une violation de la garantie de la propriété et de l'art. 5 de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700) ainsi que d'une application arbitraire des lois vaudoises sur l'expropriation et sur l'aménagement du territoire et des constructions. La Chambre des recours se réfère aux considérants de son arrêt. La commune de Servion et l'Etat de Vaud concluent au rejet du recours. L'Office fédéral du développement territorial a renoncé à prendre position. 