Faits: A. Le 25 octobre 2001, le Président du Tribunal d'arrondissement de l'Est vaudois a prononcé la faillite de la société "X._ SA". Le but de cette société était la fabrication et la commercialisation de biscuits, produits de confiserie et spécialités régionales. L'Office des faillites de l'arrondissement de Moudon-Oron (ci-après : l'Office) a traité cette faillite en la forme sommaire. B. B.a Par courrier du 22 janvier 2002 adressé à l'Office, A._, par le biais de la fiduciaire C._ SA, a proposé de reprendre les actifs mobiliers de la société faillie. Son idée était de poursuivre la production dans les locaux loués par la faillie pour commercialiser, aux niveaux national et international, des biscuits haut de gamme. Il a, quelques jours plus tard, fixé son offre de reprise à 200'000 fr. B.b Par circulaire du 8 février 2002, l'Office a soumis l'offre de A._ à l'ensemble des créanciers. Cette circulaire mentionnait que, conformément à l'art. 256 al. 2 et 3 LP, la vente ne pouvait avoir lieu qu'avec l'accord des créanciers gagistes et qu'il était loisible aux créanciers chirographaires d'adresser à l'Office une offre supérieure. Tous les créanciers gagistes ont donné par écrit leur consentement à la réalisation qui était proposée. En revanche, un des créanciers chirographaires, B._, s'est opposé, par courrier du 15 février 2002 adressé à l'Office, à la vente des actifs mobiliers à A._ en faisant valoir que les objets inventoriés valaient plus de 1'500'000 fr. B.c Le préposé de l'Office a, le 25 février 2002, confirmé par téléphone à A._ que les créanciers gagistes avaient donné leur accord et qu'aucune surenchère n'avait été déposée. Il n'a pas informé son interlocuteur de l'opposition de B._. Le même jour, A._ a donné son congé à son employeur afin de se consacrer à l'entreprise qu'il allait mettre sur pied. C. C.a Le 28 février 2002, l'Office a avisé B._ que son opposition à la vente de gré à gré était rejetée. C.b Quelques jours plus tard, par courrier du 5 mars 2002, il a informé A._ qu'aucune surenchère n'avait été formulée mais qu'une opposition avait été enregistrée. C.c Le 11 mars 2002, B._ a déposé une plainte à l'autorité de surveillance contre la décision du 28 février 2002. Il demandait qu'il soit ordonné à l'Office de réestimer les objets appartenant à la faillie et de réaliser ces biens par le biais d'enchères publiques. C.d Parallèlement, l'Office a poursuivi les démarches en vue de la vente des biens de la faillie à A._, sans l'informer de la procédure de plainte. Sur invitation du préposé, A._ a versé à l'Office, le 23 avril 2002, le prix convenu de 200'000 fr. Le 6 mai 2002, l'Office a établi le procès-verbal de vente, sur lequel était inscrit le 26 avril 2002 comme date de la vente. D. A la même époque, A._ a mené des discussions avec les propriétaires des locaux pour la reprise du bail commercial. Les négociations n'ont pu aboutir et A._ s'est vu contraint de chercher un nouveau local. Face aux difficultés rencontrées, il s'est adressé à l'Office pour lui demander sa collaboration en expliquant que sa proposition d'achat était liée à la possibilité de reprendre le bail des locaux exploités par la faillie. Dans un courrier du 24 mai 2002, il interdisait à l'Office de disposer du montant de 200'000 fr. et le menaçait de se départir du contrat de vente pour erreur essentielle. Par courrier du même jour, l'Office lui a opposé une fin de non-recevoir et lui a indiqué que la vente du 26 avril 2002 était définitive. E. Par prononcé du 3 juin 2002, l'autorité de surveillance a admis la plainte de B._, a ordonné à l'Office de réestimer l'inventaire des objets appartenant à la faillie et de rechercher des amateurs par un appel d'offres. Le 5 juin 2002, l'Office a donné connaissance à A._ de ce prononcé. Il l'informait que la procédure de réalisation en cours était annulée, que le montant de 200'000 fr. lui serait restitué et qu'il lui serait loisible de formuler une nouvelle offre. F. A la suite du nouvel appel d'offres, une vente aux enchères privées a eu lieu le 10 octobre 2002; A._ y a finalement obtenu l'adjudication des biens de la faillie pour le prix de 300'000 fr. Il a pu commencer son activité de production quelques semaines après la vente aux enchères. G. Par demande du 30 novembre 2005, A._ a ouvert action en paiement contre l'Etat de Vaud pour le montant de 1'159'311 fr. 40, avec intérêt à 5 % l'an dès le 5 mars 2002. L'Etat de Vaud a conclu à sa libération. A._ reprochait aux autorités de poursuite de ne pas l'avoir informé de la contestation du créancier et ne pas avoir attribué l'effet suspensif à la plainte. Il réclamait en raison de ces manquements le paiement d'un montant de 250'000 fr. à titre de perte de salaire et de 650'000 fr. à titre de manque à gagner. Comme dommage supplémentaire découlant des manquements précités, il faisait valoir qu'il s'était trouvé acculé par les engagements pris en vue de l'exploitation de l'entreprise et contraint d'acquérir finalement le mobilier à un prix excessif de 300'000 fr. au lieu des 200'000 fr. qu'il comptait investir; il demandait le paiement de la différence de 100'000 fr. . Par ailleurs, il reprochait au préposé de l'Office de ne pas lui avoir restitué entre les mois de mai et octobre 2002 le prix payé de 200'000 fr. et réclamait les intérêts dont il avait été privé sur ce montant. Enfin, il alléguait avoir été victime d'une atteinte illicite à sa personnalité dont il serait résulté un tort moral qu'il estimait à 100'000 fr. Par jugement du 12 février 2009, la Cour civile du Tribunal cantonal vaudois a jugé que les conditions permettant d'engager la responsabilité de l'Etat de Vaud n'étaient pas réalisées et a rejeté l'action. Les motifs sur lesquels elle a fondé le rejet intégral de la demande seront exposés plus loin dans la mesure utile. Le 20 août 2009, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours en nullité déposé par le demandeur pour appréciation arbitraire des preuves. H. Agissant le 14 décembre 2009 par la voie du recours en matière civile, A._ demande au Tribunal fédéral de réformer les décisions de la Cour civile et de la Chambre des recours en ce sens que les conclusions en paiement prises dans sa demande du 30 novembre 2005 soient admises. Le Tribunal cantonal vaudois a renoncé à se déterminer et l'Etat de Vaud a conclu au rejet du recours. 