Faits: A. Par jugement du 18 mars 2008 rendu par la Cour d'assises du canton Neuchâtel, X._ a été condamné à une peine privative de liberté pour des infractions commises dans le cadre de son activité de tuteur. Dans le même jugement, l'autorité précitée l'a condamné à verser à neuf de ses victimes des indemnités. X._ a formé un recours en cassation civile en concluant à l'annulation du jugement précédent en tant qu'il le condamne à payer des indemnités aux parties civiles. Par arrêt du 14 juillet 2009, la Cour de cassation civile a annulé le premier jugement en ce qui concerne sa condamnation à verser au pupille F._ un montant de 14'550 fr.; elle a rejeté le recours pour le surplus. B. Le 14 septembre 2009, X._ a formé un recours en matière civile au Tribunal fédéral. Il a conclu à l'irrecevabilité des demandes déposées par les pupilles A._, H._, D._, B._ et C._ et au rejet, pour le surplus, des conclusions en paiement. A titre subsidiaire, il a demandé le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. La Cour de cassation civile s'est référée à son arrêt. A._, C._, D._ et B._ ont conclu au rejet du recours dans la mesure de sa recevabilité. Quant aux autres intimés, ils ont renoncé à se déterminer. C. Par ordonnance du 21 octobre 2009, l'effet suspensif a été attribué au recours. 