Faits: A. Par décision du 13 décembre 2010, l'Office d'application des peines et mesures neuchâtelois a, notamment, autorisé X._ - condamné à une peine privative de liberté de deux ans et demi, dont neuf mois ferme et vingt-et-un avec sursis - à subir sa peine sous le régime de la semi-détention à la Maison de détention Les Falaises, à Fribourg, dès le 14 février 2011, l'a enjoint de s'y présenter à cette date et l'a informé des horaires de l'établissement du lundi au vendredi (sortie : 5h45 / entrée : 22h00), le samedi (sortie : 7h15 / entrée : 20 h00) et le dimanche (détention ferme). X._ a recouru contre cette décision auprès du Département de la justice, de la sécurité et des finances du canton de Neuchâtel pour contester le lieu d'exécution de la semi-détention. Par décision du 26 mai 2011, le Département a rejeté son recours. B. Statuant le 31 août 2011, la Cour de droit public du Tribunal cantonal neuchâtelois a confirmé la décision du Département. Pour l'essentiel, cet arrêt retient ce qui suit : B.a X._ est employé, depuis le 1er août 2008, auprès d'une entreprise de coffres-forts et de machines-outils, sise au Crêt-du-Locle, en qualité de chauffeur poids-lourds responsable des livraisons et manutentions (mises en place) avec camion solo ou camion grue pour toute la Suisse et l'étranger. Il effectue un horaire de travail du lundi au vendredi, de 7h00 à 18h00, et le samedi, de 7h00 à 17h00, avec une pause de 1h30 à midi. Le train qui arrive à 7h08 au Crêt-du-Locle part de 5h32 de Fribourg. Compte tenu des horaires de train entre Fribourg et Le Crêt-du-Locle, X._ doit quitter l'établissement pénitentiaire Les Falaises à 5 heures pour arriver au travail avec vingt minutes de retard. B.b La cour cantonale a constaté que cela n'était toutefois pas un obstacle à l'exécution de la peine dans cet établissement qui devait tenir compte notamment dans la fixation des horaires de l'activité et de la durée des trajets de la personne détenue. Elle a retenu que la direction de l'établissement pénitentiaire fera preuve de souplesse et adaptera son heure de sortie pour tenir compte de l'horaire de travail de X._, puisqu'elle s'était déclarée prête à l'accueillir. En outre, il appartiendra à l'employeur de l'intéressé, qui n'ignorait pas, au moment de l'engager, les préventions qui pesaient sur lui et le risque qu'une peine ferme puisse être prononcée à son encontre, de faire preuve de compréhension. C. Contre cet arrêt, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué et à ce que le Tribunal fédéral constate qu'il ne doive pas exécuter sa peine, sous le régime de la semi-détention, à la Maison de détention Les Falaises à Fribourg, mais dans le canton de Neuchâtel. En outre, il demande la restitution de l'effet suspensif. Il n'a pas été ordonné d'échange d'écritures. 