Faits: A. A.a En date du 18 février 2010, A._ s'est adressé à l'Autorité tutélaire du district de Neuchâtel, lui demandant de désigner un curateur aux enfants B.X._, née le 22 novembre 2005, C.X._, né le 25 février 2007, et D.X._, née le 8 juillet 2008, aux fins d'intenter une action en désaveu de paternité au nom des enfants précités et de le faire inscrire comme étant le père de ceux-ci. A._ exposait que la mère des enfants, dame X._, avait épousé X._ le 24 novembre 2003, mais que le couple n'avait pas ou très peu vécu ensemble. Lui-même avait entretenu une relation adultérine avec l'intéressée, tous deux ayant fait ménage commun durant plusieurs années. A._ affirmait être ainsi le père des trois enfants et soulignait que la mère avait elle-même des doutes quant à la paternité de son mari. Le 19 février 2010, la Présidente de l'autorité tutélaire a répondu à A._ qu'il n'avait pas la qualité pour agir en désaveu, se montrant surprise que le prénommé ait attendu 2010 pour s'aviser de sa paternité. Ce dernier a précisé que la mère des enfants s'était séparée judiciairement de son mari le 5 novembre 2009 et qu'aucune démarche n'avait été entreprise antérieurement afin d'éviter à dame X._ des problèmes avec la police des étrangers. Le 25 juin 2010, l'autorité tutélaire a informé A._ qu'elle avait sollicité de l'office des mineurs une enquête sociale afin de déterminer si une procédure en désaveu serait dans l'intérêt des enfants; le rapport établi concluait toutefois que tel n'était absolument pas le cas. L'autorité considérait dès lors qu'elle n'avait pas à désigner de curateur aux enfants pour introduire une procédure qui ne pourrait finalement que leur nuire. Le 7 juillet 2010, A._ a demandé à l'autorité tutélaire de revoir sa position, subsidiairement de rendre une décision sujette à recours. Le 19 juillet 2010, la Présidente de ladite autorité a maintenu son point de vue, lui répondant qu'à la lecture de l'art. 256 CC, elle ne voyait pas en quoi il aurait qualité pour agir dans une procédure en désaveu, de sorte que, même si une décision était rendue par l'autorité tutélaire, elle ne lui serait pas notifiée et il n'aurait pas non plus qualité pour recourir. A.b Le 2 août 2010, A._ a déposé un recours devant la Cour des mesures de protection de l'adulte et de l'enfant du Tribunal cantonal du canton de Neuchâtel. Par arrêt du 24 janvier 2011, ladite autorité a jugé le recours mal fondé, dans la mesure de sa recevabilité. B. Par acte du 24 février 2011, A._ (ci-après le recourant) interjette, contre cette dernière décision, un recours en matière civile au Tribunal fédéral. Il conclut, à titre principal, au renvoi de la cause à l'autorité intimée avec l'instruction impérative d'entrer en matière sur sa demande; à titre subsidiaire, le recourant demande le renvoi de la cause à l'autorité intimée avec l'instruction impérative de nommer un curateur aux trois enfants en lui donnant mandat d'intenter une action en désaveu de paternité et de le faire inscrire comme étant le père de ces enfants. Il n'a pas été requis d'observations. 