Faits: A. A._, né en 1968, a été engagé en qualité de juriste auprès de B._ à partir du 1 er janvier 2002. A ce titre, il était affilié à la Caisse fédérale de pensions (CFP, rapports d'assurance transférés à Publica au 1 er juin 2003). A la suite de problèmes de santé, A._ a présenté une incapacité totale de travailler, laquelle a été attestée depuis le mois de juin 2003. Le 29 mars 2004, il a déposé une demande de prestations à l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) ainsi qu'à Publica. Par décisions des 27 juillet et 10 septembre 2012, l'office AI a alloué une rente entière d'invalidité à A._ à compter du 1 er juin 2004, en fonction d'un degré d'invalidité de 97 %. Sur cette base, Publica a accordé à son assuré une rente d'invalidité, le 28 novembre 2012, avec effet rétroactif au 1 er octobre 2004 (après calcul de surindemnisation du 1 er juin au 30 septembre 2004). Publica a toutefois refusé de verser des intérêts moratoires (cf. échanges de lettres des 14 décembre 2012 et 10 janvier 2013). B. Le 28 février 2013, A._ a saisi le Tribunal administratif du canton de Berne d'une demande dirigée contre Publica. Il a conclu à ce que la caisse de pensions défenderesse fût condamnée à lui payer un montant de 65'910 fr. 10 à dire de justice, au titre d'intérêts moratoires de 5 % l'an sur le montant de rente arriéré de 310'615 fr. 90 pour la période du 1 er octobre 2004 au 30 novembre 2012, ainsi qu'à indexer la rente d'invalidité. Par jugement du 7 février 2014, la juridiction cantonale a rejeté la demande dans la mesure où elle l'a jugée recevable. C. A._ interjette un recours " administratif et constitutionnel " contre ce jugement dont il demande l'annulation avec suite de dépens. Il conclut à ce que Publica soit condamnée à lui verser " le montant à dire de justice d'au moins 86'100 fr. 40, correspondant à un intérêt de 5 % l'an sur le montant de 313'785 fr. 45 continuant de porter intérêt à 5 % l'an jusqu'à l'entrée en force de chose jugée définitive ". Par ailleurs, il prie " les Cours réunies du Tribunal fédéral d'examiner si l'élection des magistrats bernois par des députés, influencés de manière occulte par lobbies et pouvant sanctionner en tout temps par une non-élection n'importe quel juge qui n'agirait pas dans les intérêts de ces lobbies, entraîne une apparence de partialité et de dépendance de ces magistrats au sens des art. 29 sv. Cst. et 6 CEDH ". Il requiert enfin la suspension de la procédure jusqu'à ce que les Cours réunies aient statué sur l'application de l'art. 23 LTF. 