Faits : A. Par jugement du 11 mai 2012, le Tribunal régional du Jura-bernois-Seeland a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié et de brigandage qualifié (dispositif, ch. III). Il a prononcé une peine privative de liberté à vie et l'internement à vie, l'exécution de la peine précédant l'internement (idem, ch. IV 1 et 2). Il a également astreint X._ au paiement des frais de procédure afférents à la condamnation, composés notamment de débours à hauteur de 161'131 fr. 35, dont 48'568 fr. 30 de frais de l'assistance juridique gratuite pour les parties plaignantes (idem, ch. IV 3). Au ch. V 3 du dispositif, cette autorité a fixé les honoraires de Me H._, conseil d'office de la partie plaignante I._. Elle a distingué le montant total dû par le canton de Berne (22'783 fr. 45) et celui total dû ultérieurement par X._ (5'478 fr. 40) et précisé que celui-ci devrait rembourser, respectivement verser ces montants s'il acquérait une bonne situation financière. B. X._ et plusieurs parties plaignantes, dont I._, ont fait appel. Par jugement du 19 septembre 2013, la 2ème Chambre pénale de la section pénale de la Cour suprême du canton de Berne a reconnu X._ coupable d'assassinat, de viol qualifié, de tentative de viol qualifié, de brigandage et de brigandage qualifié (dispositif, let. B I). Elle l'a condamné à une peine privative de liberté de vingt ans et à l'internement à vie, l'exécution de la peine précédant l'internement (idem, let. B II). Elle l'a également astreint à verser à I._, à titre d'indemnité pour ses dépenses occasionnées par la procédure de première instance 10'769 fr. 90 (idem, let. B III 5.2) et dit que cette indemnité revenait au canton de Berne à concurrence de l'indemnité versée à Me H._ pour le mandat d'office en première instance, arrêtée à 10'796 fr. 90 (idem, let. B III 6.2). Le dispositif, let. B IV 3, arrêtait l'indemnité à verser par le canton de Berne à Me H._ pour la procédure de première instance à un total de 11'661 fr. 85. C. Me H._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à l'annulation du ch. B IV 3 du dispositif du jugement du 19 septembre 2013 en ce qui concerne la fixation de son indemnité de conseil juridique gratuit pour la procédure de première instance et à ce qu'il soit constaté que le ch. V 3 du dispositif du jugement du 11 mai 2012 est entré en force. A titre subsidiaire, il sollicite la réforme du ch. B IV 3 en ce sens que les montants prononcés en première instance (cf. supra let. A) sont confirmés. L'autorité précédente, le ministère public et X._ ont renoncé à se déterminer. 