Faits: A. A.a A._, née en 1991, ainsi que B._ et C._, nés en 1996, sont les enfants des époux X._. Ils vivent depuis le mois de novembre 2001 à D._, où leur mère les a rejoints définitivement au mois de novembre 2004. A.b Le 4 avril 2001, dame X._ a déposé une plainte pénale contre X._ pour viols répétés à son égard et actes d'ordre sexuel sur leurs trois enfants. Les charges d'abus sexuels sur les enfants ont été abandonnées par le Ministère public grison au mois d'octobre 2002 et X._ a été libéré de l'accusation de viol sur son épouse par le Tribunal cantonal du canton des Grisons au mois de juillet 2003. A.c Dans le cadre de la procédure de divorce ouverte par dame X._, une expertise judiciaire a été rendue le 14 octobre 2005 par le Service de psychiatrie pour Enfants et Adolescents du Secteur psychiatrique d'Yverdon-les-Bains. Il en ressort que les enfants ne présentent de façon générale pas de symptômes psychiatriques, sauf lorsqu'ils évoquent le thème du père et celui de la protection, domaines où ils deviennent alors délirants. De l'avis des experts, ces propos délirants sont à mettre sur le compte d'une très longue période au cours de laquelle ils ont subi un lavage de cerveau avec création de faux souvenirs et réalités inexistantes. La mère souffre d'un grave trouble psychiatrique qui se traduit par des convictions et des propos délirants dans le domaine de la sexualité, de la grossesse et de la protection. Dans la mesure où elle a dû répéter les épisodes de maltraitance suffisamment de fois pour que les trois enfants en soient imprégnés, les experts parlent de maltraitance psychologique de la part de la mère. Le divorce des époux X._ a été prononcé le 21 juillet 2006 au Tessin; le juge saisi a ratifié la convention conclue par les parties qui attribuait à la mère l'autorité parentale et la garde des trois enfants et prévoyait le rétablissement des relations personnelles entre le père et les enfants selon les modalités devant être ordonnées par l'autorité tutélaire. B. B.a Le 30 août 2006, le Juge de paix du district de Moudon a ouvert une enquête en limitation de l'autorité parentale de la mère sur ses enfants. Le Ministère public a émis un préavis en faveur du retrait de l'autorité parentale et du droit de garde de la mère. Les relations entre le père et les enfants ont repris au mois de décembre 2006 dans un milieu protégé. En avril 2007, le Service de protection de la jeunesse (ci-après: SPJ) a indiqué que les visites se passaient correctement; en août 2007, il a confirmé cette analyse, précisant que les visites devaient avoir lieu dans un Point Rencontre. En janvier 2008, il a constaté que les enfants n'avaient aucune envie de voir leur père, dont ils avaient peur; il en a déduit une détérioration de la relation père-enfants. D'autres intervenants ont posé des constats identiques: aux dires de la coordinatrice du Point Rencontre, les enfants lui semblaient en grande souffrance et extrêmement démunis; selon le pasteur E._, lequel évoque des risques de suicide si "cette politique d'aller de l'avant à tout prix" se poursuit, les rencontres avec le père sont improductives et frustrantes; enfin, la pédo-psychiatre qui suit les enfants depuis 2001 est d'avis qu'une séparation d'avec leur mère leur serait dommageable. Pour sa part, la psychologue, auteure de l'expertise du 14 octobre 2005, a affirmé que son rapport était encore d'actualité, faute d'évolution de la situation. En dernier lieu, le SPJ a renoncé à un placement des enfants et mentionné la bonne éducation donnée par la mère, hormis en ce qui concerne le père. B.b Par décision du 5 mars 2008, le Juge de paix du district de Moudon a, entre autres points, clos l'enquête en limitation de l'autorité parentale de la mère sur ses enfants, renoncé à instituer une mesure de protection au sens de l'art. 307 CC et refusé d'accorder au père un droit de visite sur les enfants. B.c Par arrêt du 4 septembre 2008, la Chambre des tutelles du Tribunal cantonal du canton de Vaud a partiellement admis le recours du père et annulé le chiffre du dispositif relatif au droit de visite du père; elle a estimé qu'on ne pouvait exclure en l'état tout droit de visite du père sur ses fils, ce qui imposait que la cause fût renvoyée à l'autorité inférieure pour nouvelle décision. L'ordonnance de première instance a été confirmée pour le surplus. C. Contre cet arrêt, le père interjette un recours en matière civile au Tribunal fédéral, concluant à sa réforme en ce sens que l'autorité parentale sur les enfants est retirée à leur mère pour lui être confiée, que le droit de garde sur les enfants est confié au SPJ, à charge pour lui de trouver une institution ou une famille d'accueil où ils pourront être placés, qu'aucun droit de visite n'est accordé à la mère, qu'une thérapie des enfants est mise en oeuvre dans le but de favoriser leur retour auprès du père, lequel exercera son droit de visite dans l'intervalle par l'intermédiaire de l'institution "Trait d'union" de la Croix-Rouge. Il se plaint d'une violation des art. 9 et 11 Cst., 3, 6 et 20 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107), ainsi que 307, 310 et 311 CC. La mère et le curateur des enfants concluent au rejet du recours. La cour cantonale se réfère aux termes de son arrêt. 