Faits : A. A.a Depuis 1991, A._ exploite en raison individuelle le « College X._ » (ci-après: X._). Dans un premier temps, des cours à distance ont été proposés par l'école. Par la suite, un enseignement à temps partiel, à R._ et S._, puis à plein temps, à T._ et U._, ont été dispensés. Les élèves du X._ ont été accueillis, à partir de 1998, dans les bâtiments « Y._ », à U._, qui servaient à la fois de logements et de salles de cours. Le bail a été résilié en 2004 et, depuis lors, X._ ne dispense plus qu'un enseignement à distance. A.b Les élèves de l'école étaient, pour l'essentiel, recrutés en Chine, où A._ avait recours à des agents recruteurs, œuvrant de façon indépendante. Une commission représentant 10% de l'écolage était versée aux agents, lorsque l'inscription de l'étudiant parvenait au X._ par leur intermédiaire. B. B.a B._, C._, D._ et E._ ont été contactés, en Chine, par des agents recruteurs de A._. Après avoir consulté du matériel publicitaire, qui consistait en deux dépliants - l'un en chinois et l'autre en anglais -, ils ont reçu de l'école une lettre d'acceptation aux cours de « Bachelor of Science in Business Administration » et une facture des frais de scolarité et de pension. B._ a versé 7'500 USD, C._ 18'000 USD, D._ 8'500 USD et E._ 18'000 USD. Ces étudiants sont arrivés en Suisse le 3 janvier 2003 pour les deux premiers nommés et le 18 janvier 2003 pour les deux derniers. Une autorisation de séjour leur a été délivrée par le Service cantonal valaisan des étrangers. Les agents recruteurs qui se sont occupés de ces quatre étudiants ont reçu la commission usuelle. B.b B._, C._, D._ et E._ ont été enthousiasmés par la publicité qui leur a été présentée, plus particulièrement par le caractère international du X._, son ampleur - trois campus en Suisse -, ses liens avec une célèbre université américaine et par la perspective d'effectuer un stage bien rémunéré en cours de formation. B.c Peu de temps après leur arrivée, les quatre étudiants ont constaté que le X._ ne correspondait absolument pas à la présentation qui leur avait été faite. Le « campus » consistait en des locaux que A._ louait à U._ dans deux bâtiments de l'entreprise « Y._ SA »; il ne comprenait aucune installation sportive. Le bâtiment principal, qui abritait vingt et une chambres à deux lits et des classes, n'était pas équipé de suffisamment de sanitaires. L'école ne disposait pas d'un service de nettoyage des chambres et la cuisine n'était pas assurée par des professionnels. B.d Le 27 janvier 2003, après trois semaines de cours, A._ a adressé à huit de ses élèves - dont B._, C._ et D._ - un avis de renvoi immédiat de l'école. A._ leur reprochait de ne pas suivre les cours, de sortir la nuit pour faire la fête et de passer la journée du lendemain à dormir. E._ n'a fait l'objet d'aucune mesure d'expulsion; il a néanmoins quitté l'école de son propre chef. B.e Seul E._ a accepté de signer le document intitulé « attestation/confirmation », adressé par le X._ aux quatre élèves et qui valait en réalité acceptation du non-remboursement partiel de l'écolage versé au X._. Le jour de la signature de ce document, E._ a reçu un montant de 13'500 francs. C. Le 3 octobre 2003, B._, C._, D._ et E._ (les demandeurs et intimés) ont ouvert action contre A._ (le défendeur et recourant) devant le juge de district de .... Leur demande tendait à ce que le défendeur soit condamné, en qualité de débiteur, à payer à chacun des demandeurs une certaine somme, avec intérêts. En cours de procédure, les demandeurs ont modifié leurs conclusions. Après clôture de l'instruction, le dossier a été transmis, le 29 novembre 2005, à la IIe Cour civile du Tribunal cantonal. Les parties ont été citées au débat final du 9 février 2007, par ordonnance du 14 novembre 2006. Lors de ce débat, les demandeurs ont confirmé leurs dernières conclusions, à savoir que le défendeur soit condamné, en qualité de débiteur, à payer à C._ la somme de 26'100 fr., à E._ la somme de 10'350 fr., les engagements pris par celui-ci envers le défendeur dans son courrier électronique du 20 novembre 2003 et dans sa déclaration du 27 novembre 2003 étant nuls et de nul effet, à B._ la somme de 10'875 fr. et à D._ la somme de 12'325 fr., ces quatre sommes portant intérêts à 5% l'an dès le 27 janvier 2003. Le défendeur, qui a, dans un premier temps, conclu au rejet de l'action, a, lors du débat, précisé ses conclusions: s'agissant de B._, D._ et C._, il a conclu au rejet de leurs prétentions; quant à E._, il a requis la constatation de son retrait d'action et, subsidiairement, le rejet de ses prétentions. Les juges cantonaux ont statué le 21 février 2007. Ils ont condamné A._ à verser 9'975 fr. à B._, 11'305 fr. à D._ et 23'940 fr. à C._, le tout avec intérêts à 5% dès le 15 novembre 2003. Ils ont rejeté la demande de E._. En substance, les magistrats ont considéré que les demandeurs ont été gravement induits en erreur sur les prestations que le défendeur s'engageait à leur fournir, dans le cadre de son école. Ils ont estimé que les agents recruteurs constituaient des auxiliaires du défendeur, qui devait ainsi répondre des informations délibérément falsifiées présentées par les agents aux demandeurs. La cour cantonale a donc jugé que le défendeur était l'auteur d'un dol, au sens de l'art. 28 CO. Pour le surplus, elle a relevé que les demandeurs s'étaient valablement départis du contrat conclu avec le défendeur et que, sur le vu des circonstances concrètes du cas, il se justifiait d'accorder à l'invalidation du contrat un effet rétroactif (ex tunc). D. Le défendeur exerce un recours en matière civile contre le jugement du 21 février 2007. Il requiert l'octroi de l'effet suspensif et conclut à la réforme du jugement attaqué, en ce sens que les prétentions de B._, C._ et D._ sont rejetées. B._, C._ et D._ concluent au rejet des conclusions prises par la partie adverse. La Cour civile se réfère, quant à elle, aux considérants du jugement entrepris. Par ordonnance présidentielle du 29 mars 2007, l'effet suspensif au recours « jusqu'à décision sur la requête d'effet suspensif » a été accordé, à titre de mesures superprovisoires. 