Faits: A. G._ a commencé une activité de dessinateur B auxiliaire auprès du Service des routes et des autoroutes du Canton de Vaud le 1er septembre 1995. Il travaillait au bureau technique de X._ pour la division des routes nationales. A partir du 1er novembre 1996, il a été engagé sur la base d'un contrat de droit privé pour une durée indéterminée. Par la suite, il a été promu au poste de dessinateur A, sur la base d'un contrat de droit public. Son taux d'activité a été de 80 pour cent depuis le 1er février 2002. A la suite de la réforme de la péréquation financière et de la répartition des tâches entre la Confédération et les cantons (RPT), les activités d'entretien des routes nationales, qui relevaient auparavant des autorités cantonales, ont été reprises par la Confédération dès le 1er janvier 2008. Au cours d'un entretien du 8 décembre 2006, G._ a été informé que son poste serait supprimé en raison de ce transfert au plus tôt le 31 décembre 2007. Par lettre du 29 mars 2007, le Service des routes du canton de Vaud l'a informé que si aucune possibilité de transfert n'était trouvée jusqu'au 30 juin 2007, les rapports de travail seraient résiliés avec un délai de préavis de six mois. Dans un courrier du 28 juin 2007, qui faisait suite à un entretien de la veille avec l'intéressé, le Service des routes lui a confirmé qu'il pourrait poursuivre son activité dans ledit service. Dès le 1er août 2007, il serait transféré en qualité de dessinateur A (classe 15-17) avec un taux d'activité inchangé de 80 pour cent auprès de l'arrondissement Y._ des routes cantonales, à S._. Le salaire resterait sans changement. Des discussions ont eu lieu entre les parties sur les modalités de cette nouvelle affectation. Le Service des routes a accepté de rembourser à l'employé ses frais de déplacement entre son domicile, à X._, et S._ pour une durée d'une année, éventuellement prolongeable de six mois au maximum (lettre du 23 juillet 2007). Par la suite, l'employeur a accepté un aménagement du temps de travail de l'intéressé (journées de 9 heures le lundi et le mardi et de 5 heures le mercredi, jeudi et vendredi). Il lui a proposé une indemnité de déménagement de 2'555 fr. pour tenir compte de la situation difficile du marché du logement à S._ et dans les environs. Il a invité l'intéressé à lui faire part de ses intentions jusqu'au 31 août 2007, en précisant qu'en cas de refus du transfert aux conditions proposées, il procéderait à la résiliation du contrat moyennant un préavis de six mois; aucune indemnité ne serait alors versée. Par courriel du 31 août 2007, G._ a refusé la proposition de transfert. Par lettre du 3 septembre 2007, le chef du Département des infrastructures a dès lors résilié le contrat de travail de l'employé pour le 31 mars 2008. B. G._ a ouvert action devant le Tribunal de Prud'hommes de l'administration cantonale vaudoise en concluant à sa réintégration au sein du personnel de l'Etat de Vaud ou au paiement de la somme de 44'497 fr. Il a été débouté de ses conclusions par jugement du 12 décembre 2007. C. G._ a déféré ce jugement à la Chambre des recours du Tribunal cantonal du canton de Vaud en concluant, principalement, à sa réforme en ce sens que l'Etat de Vaud est son débiteur d'une indemnité de 44'497 fr. plus intérêt à 5 % l'an dès le 20 septembre 2007, subsidiairement à son annulation. La Chambre des recours a rejeté ses conclusions par jugement du 22 avril 2009. D. G._ forme un recours en matière civile au Tribunal fédéral, concluant principalement au paiement par l'Etat de Vaud d'une indemnité de 44'497 fr. (avec intérêts). Subsidiairement, il demande que la cause soit renvoyée à l'autorité précédente pour nouvelle instruction et nouveau jugement. L'Etat de Vaud conclut au rejet du recours. 