Faits: A. Par jugement du 11 novembre 1994, le Tribunal du district de Grandson a prononcé le divorce des époux A._ et , et attribué à la mère l'autorité parentale sur leur fille B._, née en 1991. Le Tribunal a également ratifié, pour faire partie intégrante du dispositif du jugement, la convention sur les effets accessoires du divorce prévoyant que le père contribuerait aux frais d'entretien et d'éducation de sa fille par le versement d'une pension alimentaire mensuelle de 1'350 fr. jusqu'à dix ans révolus, de 1'500 fr. jusqu'à seize ans révolus et de 1'650 fr. jusqu'à la majorité et au-delà si, la majorité atteinte, sa fille n'avait pas terminé ses études ou sa formation professionnelle. B. Le 17 novembre 2009, le père a ouvert action devant l'Autorité tutélaire du district de Neuchâtel en suppression de la contribution d'entretien en faveur de sa fille, avec effet rétroactif au 17 novembre 2008. Il a fait valoir que sa situation financière ne lui permettait plus de verser une pension en raison de la modification notable de ses conditions de vie. B._ a conclu au rejet de la demande et précisé qu'elle entrerait à l'Université après l'obtention de sa maturité fédérale, à la prochaine rentrée académique. Par jugement du 19 mars 2010, l'Autorité tutélaire a rejeté l'action du père en ce qui concerne les contributions d'entretien dues pendant la minorité de sa fille, mais elle a supprimé les contributions d'entretien dès le 2 juin 2009. L'autorité de première instance a retenu que le père réalisait un revenu mensuel net de 9'346 USD et supportait des charges incompressibles de 9'125,97 USD, de sorte qu'il ne disposait pas du montant nécessaire pour couvrir son minimum vital élargi majoré de 20 %. C. Statuant le 6 octobre 2010 sur le recours interjeté par B._, l'Autorité tutélaire de surveillance du Tribunal cantonal neuchâtelois a partiellement réformé le jugement de première instance en ce sens que les contributions d'entretien mensuelles sont fixées à 500 fr. dès le 2 juin 2009. D. Par acte du 8 novembre 2010, le père a interjeté un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement à sa réforme en ce sens que les contributions d'entretien en faveur de sa fille sont supprimées dès le 2 juin 2009, subsidiairement à son annulation et au renvoi de la cause aux autorités cantonales. Invitées à se déterminer, l'intimée conclut au rejet du recours et l'autorité cantonale se réfère aux considérants de son arrêt. 