Faits: A. Dès le 1er janvier 1994, X._ a travaillé pour V._ assurance sur la vie (ci-après: V._ Vie) et il a exercé diverses fonctions dans cette compagnie d'assurances. En dernier lieu, il travaillait pour le service dénommé "Key Account Management". Dès le 1er janvier 2000, son salaire annuel brut a été fixé à 130'000 fr., puis, dès le 1er janvier 2001, à 134'000 fr.; en 2001, il a perçu, en sus, 20'000 fr. de bonus. Durant l'automne 2000, la fusion entre V._ Vie et W._ Vie SA, ci-après: W._) a été annoncée. X._ considérait sa rémunération comme insatisfaisante. En juillet 2001, V._ Vie s'est engagée à financer la formation de X._ pour l'obtention du diplôme de conseiller financier, moyennant remboursement des coûts au prorata des mois restants s'il résiliait son contrat de travail dans les deux ans suivant la fin de sa formation. Dans la préparation de la fusion, il a été décidé de supprimer le service "Key Account Management", dans lequel travaillait X._. Il a été proposé à X._ de l'engager au sein de W._ en qualité de "chef de vente vie" de la direction régionale pour le canton de Vaud. Par lettre du 4 décembre 2001, V._ Vie a informé X._ qu'il était nommé à ce poste avec effet au 1er janvier 2002; il était joint un contrat de travail à signer prévoyant une rémunération globale, selon les résultats obtenus, de 156'600 fr. (135'000 fr. + une indemnité de 21'600 fr. pour ses frais). Le 14 décembre 2001, X._ a répondu qu'il ne signerait pas ce contrat avec W._ et qu'il en restait à son contrat avec V._ Vie. Par lettre recommandée du 21 décembre 2001, la direction générale de V._ Vie a résilié le contrat de travail conclu avec X._ pour le 30 avril 2002. Le 18 janvier 2002, Y._, avocat à Sion, qui avait été mandaté par X._, a adressé une lettre à V._ Vie, émettant diverses prétentions. V._ Vie a rémunéré X._ jusqu'à l'échéance du contrat, le 30 avril 2002, y compris sa part au treizième salaire et ses bonus pour l'année 2001. En juin 2002, W._ a repris V._ Vie, dont les services ont été restructurés. X._ avait souscrit au moins deux hypothèques auprès de W._. Poursuivi en paiement des intérêts, il a invoqué la compensation avec les créances découlant, selon lui, de sa formation professionnelle et de quarante-cinq jours de vacances impayées. Sur la base des pièces produites, le juge des districts d'Hérens et de Conthey, par décision du 6 janvier 2003, a levé provisoirement les oppositions formées par X._ (représenté par Y._), en considérant que les pièces produites ne suffisaient pas pour rendre vraisemblable les créances compensatoires invoquées. Le 10 janvier 2003, l'avocat Y._ a transmis ces décisions à son client en précisant qu'il disposait d'un délai de vingt jours pour ouvrir action en libération de dettes, ce qui ne lui paraissait cependant pas opportun. Une telle action n'a pas été introduite. En janvier 2003, mécontent des prestations de son mandataire, X._ a consulté l'avocat Rolf A. Tobler de Berne. Y._ a contesté toute responsabilité et sa note d'honoraires a été réglée par son client. W._ a payé à X._ une indemnité transactionnelle de 30'000 fr. pour solder toutes les prétentions de ce dernier. B. Par mémoire-demande du 14 septembre 2007, X._ a ouvert action devant le Tribunal cantonal valaisan contre Y._, réclamant à ce dernier la somme de 35'870 fr. avec intérêts à 5% dès le jour du dépôt de la demande. En substance, X._ reproche à son ancien avocat: - de ne pas avoir procédé conformément à l'art. 336b CO afin d'obtenir une indemnité pour résiliation abusive du contrat de travail; - et de ne pas avoir produit les pièces utiles pour s'opposer victorieusement au prononcé de la mainlevée provisoire. Statuant par arrêt du 9 février 2010, le Tribunal cantonal valaisan a rejeté la demande avec suite de frais et dépens. En substance, la cour cantonale a estimé que le demandeur n'aurait rien obtenu de plus si son avocat avait procédé comme il le suggère. C. Ayant reçu cet arrêt le 10 février 2010, X._ a déposé dans un bureau de poste suisse, le 12 mars 2010, un recours en matière civile au Tribunal fédéral. Il soutient que les faits ont été établis de façon manifestement inexacte et que le droit fédéral a été violé parce que l'avocat Y._ ne l'a pas correctement défendu aussi bien en ce qui concerne le caractère abusif du congé qu'en ce qui concerne la procédure de mainlevée provisoire. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente, subsidiairement à la condamnation de son adversaire à lui payer la somme de 35'870 fr. avec intérêts à 5% l'an dès le jour du dépôt de la demande. L'intimé a conclu au rejet du recours dans la mesure où il est recevable avec suite de frais et dépens. 