Faits: A. Par arrêt du 20 septembre 2007, la Cour criminelle du Tribunal cantonal jurassien a condamné X._, pour délit manqué de meurtre, incendies intentionnels, menace, infractions à la LStup et à la LCR et dommages à la propriété d'importance mineure, à une peine privative de liberté de 5 ans, sous déduction de la détention préventive. Elle a également ordonné son internement. B. B.a Dans le cadre de l'exécution de sa peine privative de liberté, X._ a d'abord été placé aux Etablissements pénitentiaires de Thorberg, depuis le 5 juin 2007, après avoir séjourné dans la prison régionale de Berne. Il a ensuite été transféré à l'EEP Bellevue, à Gorgier/NE, dès le 11 juin 2009. B.b Par requête du 29 octobre 2009, le Service juridique, Exécution des peines et mesures, a saisi la Cour criminelle, conformément à l'art. 64 al. 3 CP, aux fins de décider de l'octroi éventuel de la libération conditionnelle en faveur de X._. Dans le cadre de l'instruction, le Président de l'autorité précitée a ordonné la mise en oeuvre d'une expertise psychiatrique confiée au Dr A._. Un rapport a également été requis auprès des établissements de Thorberg et de Bellevue. C. Par arrêt du 22 février 2010, la Cour criminelle du Tribunal cantonal jurassien a refusé d'accorder à X._ la libération conditionnelle de la peine privative de liberté. D. X._ a déposé un recours en matière pénale au Tribunal fédéral. Invoquant l'arbitraire et une violation des art. 64a, 64b al. 2 let. c et 62d al. 2 CP, il a conclu à l'annulation de l'arrêt précité et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Il a également requis l'assistance judiciaire. Le Ministère public du canton du Jura n'a pas déposé d'observations. La Cour criminelle a conclu au rejet du recours. 