Faits: A. Par jugement du 27 mai 2010, la Cour d'assises neuchâteloise a condamné X._ pour brigandage aggravé. Elle a révoqué le sursis relatif à la peine pécuniaire de dix jours-amende à 100 francs prononcée le 7 décembre 2007 par le Ministère public zurichois et prononcé une peine privative de liberté d'ensemble de cinq ans et demi, dont à déduire 349 jours de détention avant jugement. B. Par arrêt du 24 novembre 2010, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le pourvoi formé par X._. En bref, cet arrêt retient les faits suivants : Les 6 et 7 mars 2009, X._ a convenu avec son ami Y._ d'agresser Z._ pour lui voler les montres de valeurs qu'il transportait. Celui-ci devait rendre visite à un ami à l'avenue Léopold-Robert 30, à La Chaux-de-Fonds quelques jours plus tard. Le 13 mars 2009, Y._ a suivi Z._ dans le train entre Bienne et La Chaux-de-fonds, puis à l'arrivée dans cette ville. Il a renseigné X._, par téléphone, sur la progression de la victime. X._ a agressé cette dernière dans le corridor d'entrée de l'immeuble, sis à l'avenue Léopold-Robert 30, la frappant, violemment et à plusieurs reprises, sur le crâne, le visage et la main droite, au moyen de la crosse de son pistolet. Il lui a soustrait le sac qu'elle transportait. Celui-ci contenait deux colis cachetés ; dans le premier, se trouvaient neuf montres d'une valeur totale de 189'033 fr. et, dans le second, une montre à réviser, un mouvement et des bracelets, le tout valant 2'320 fr. En prenant la fuite, X._ a perdu le second colis. C. Contre cet arrêt cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à son acquittement et, subsidiairement, au renvoi de la cause à la Cour d'assises neuchâteloise pour compléments d'instruction et nouveau jugement. Il n'a pas été ordonné d'échange d'écritures. 