Faits: A. Le 10 octobre 2010, X._ s'est rendu chez A._, épouse de I._, armé d'un couteau à pain. Prétextant une relation sexuelle contre contribution, il est entré chez elle, l'a blessée avec le couteau, l'a étranglée de manière violente, lui fracturant l'os hyoïde, puis lui a profondément tranché la gorge. L'agonie a duré quelques heures. Après avoir mis A._ hors d'état de résister, X._ a fouillé son appartement pour emporter des espèces et divers objets de valeur. Avant qu'elle ne décède, il a eu un rapport sexuel avec elle. Par jugement du 11 mai 2012, le Tribunal régional du Jura-bernois-Seeland a reconnu X._, pour ces faits, coupable d'assassinat et de brigandage qualifié. Il l'a également reconnu coupable, pour d'autres faits, de viol qualifié, de tentative de viol qualifié et de deux autres brigandages qualifiés. Cette autorité a condamné X._ à la peine privative de liberté à vie et à l'internement à vie, l'exécution de la peine précédant l'internement. Sur le plan civil, elle l'a astreint à verser à I._ 10'000 fr. à titre d'indemnité pour tort moral, avec intérêts à 5 % l'an dès le 10 octobre 2010. B. X._ et I._, notamment, ont fait appel. Par jugement du 19 septembre 2013, la 2ème Chambre pénale de la Section pénale de la Cour suprême du canton de Berne a reconnu X._ coupable d'assassinat et de brigandage simple sur la personne de A._, de viol qualifié, de tentative de viol qualifié et de brigandages qualifiés sur deux autres femmes. Elle l'a condamné à une peine privative de liberté de vingt ans et à l'internement à vie, l'exécution de la peine précédant l'internement. Sur le plan civil, elle a astreint X._ à verser à I._ 10'000 fr. à titre d'indemnité pour tort moral, avec intérêts à 5 % l'an dès le 10 octobre 2010. C. I._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à la modification du jugement du 19 septembre 2013 en ce sens que l'indemnité pour tort moral en sa faveur est fixée à 70'000 fr., avec intérêts à 5 % l'an dès le 10 octobre 2010. Il sollicite l'assistance judiciaire. L'autorité précédente, le ministère public et X._ ont renoncé à se déterminer. 