Faits: A. Par arrêté du 29 avril 2010, paru dans la Feuille officielle du canton de Neuchâtel (ci-après: la Feuille officielle) du 7 mai 2010, le Conseil général de la commune de La Tène a publié la demande d'un crédit de 1'900'000 francs pour reconstruire le bâtiment sanitaire du camping de La Tène. Le référendum lancé contre cet arrêté a abouti dans le délai utile. Il a été demandé par des électeurs, qui considéraient que les montants à investir étaient démesurés notamment au regard de la situation déficitaire de la commune, alors qu'une remise en état des installations selon une rénovation douce serait moins dispendieuse. L'arrêté du 29 avril 2010 a été accepté par 817 oui contre 800 non, 20 bulletins blancs et un bulletin nul, lors de la votation du 28 novembre 2010. Les résultats du scrutin ont été publiés dans la Feuille officielle du 3 décembre 2010. B. A._ a recouru contre le résultat de la votation auprès de la Chancellerie d'Etat du canton de Neuchâtel (ci-après: la Chancellerie), demandant l'annulation du scrutin. Lors de l'instruction du recours, le service juridique de l'Etat de Neuchâtel a opéré un recomptage des bulletins de vote, lequel a abouti au même résultat que celui paru dans la Feuille officielle du 3 décembre 2010. Par décision du 3 février 2011, la Chancellerie a rejeté le recours du prénommé. Elle a écarté l'ensemble des griefs relatifs au comptage des bulletins, au caractère trompeur de l'arrêté et de la campagne du Conseil communal ainsi qu'au choix d'un architecte sans procéder par appel d'offres. Le 8 février 2011, A._ a recouru contre cette décision, en demandant la récusation de la Chancelière B._, au motif que celle-ci était intervenue durant la campagne pour donner des recommandations à la commune à plusieurs reprises. Il a aussi allégué s'être présenté le jour même à la Chancellerie et avoir demandé à pouvoir examiner le dossier à son domicile, afin de décider si un recours était envisageable. Il lui a été proposé de consulter le dossier sur place, et précisé que seuls les mandataires pouvaient se voir remettre les dossiers. Dans ses observations complémentaires du 7 mars 2011, le prénommé a requis l'annulation du scrutin du 28 novembre 2010. Par arrêt du 12 mai 2011, la Cour de droit public du Tribunal cantonal du canton de Neuchâtel (ci-après: le Tribunal cantonal ou la Cour de droit public) a rejeté le recours, dans la mesure de sa recevabilité. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 12 mai 2011, la décision du 3 février 2011 ainsi que la votation du 28 novembre 2010. Le Tribunal cantonal, le Conseil communal de la commune de La Tène et la Chancellerie concluent au rejet du recours. Le recourant a répliqué par courrier du 23 septembre 2011. 