Faits : A. A._, ressortissant tunisien, né en 1976, est entré sur le territoire suisse le 15 décembre 2005 en vue de préparer son mariage avec une ressortissante suisse, qui a eu lieu le 16 février 2006. Il a obtenu une autorisation de séjour pour regroupement familial, qui a été prolongée, pour la dernière fois, jusqu'au 14 mai 2011. Aucun enfant n'est issu de cette union. A._ a bénéficié de prestations de l'aide sociale entre 2006 et 2007. Le 2 juin 2007, A._ est rentré seul en Tunisie; il est revenu en Suisse le 15 mai 2008 afin de poursuivre la vie conjugale avec son épouse. Par jugement du 10 septembre 2010, le président 5 de l'arrondissement judiciaire II Bienne-Nidau a constaté que les époux vivaient séparés depuis le 15 juillet 2010, autorisé l'épouse à continuer à vivre de manière séparée pour une durée indéterminée et condamné l'intéressé à emporter ses effets personnels du domicile conjugal. B. Après avoir entendu A._, le Service des Migrations de l'Office de la population et des migrations du canton de Berne (ci-après: le Service cantonal) a décidé, le 6 janvier 2012, de ne pas prolonger l'autorisation de séjour de l'intéressé, au motif que ce dernier invoquait abusivement les liens du mariage et des tentatives de réconciliation avec son épouse pour pouvoir prolonger son séjour en Suisse et compte tenu du fait qu'il ne pouvait être considéré comme bien intégré en Suisse. Le 23 août 2013, la Direction de la police et des affaires militaires du canton de Berne (ci-après: la Direction cantonale) a rejeté le recours de A._. Le recours de l'intéressé au Tribunal administratif du canton de Berne (ci-après: le Tribunal administratif) a été rejeté le 14 mars 2014. Le Tribunal administratif a retenu que A._ ne pouvait se prévaloir d'une intégration réussie au sens de l'art. 50 al. 1 let. a LEtr. C. A._ forme un recours en matière de droit public et un recours constitutionnel subsidiaire contre le jugement du 14 mars 2014 du Tribunal administratif. Outre l'effet suspensif, il conclut à l'annulation de la décision attaquée et au renouvellement de son permis de séjour. Le Tribunal administratif a formulé des observations, se référant pour le surplus à l'arrêt entrepris. Le Service cantonal a renoncé à se déterminer sur le recours. L'Office fédéral des migrations conclut au rejet de celui-ci. A._ a présenté des déterminations volontaires. Par ordonnance du 29 avril 2014, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours. 