Faits: A. Auparavant capitaine-instructeur à l'armée, S._, né en 1946, a travaillé dès le 1er avril 1984 au service de la Société X._. A ce titre, il a été affilié auprès de la Fondation de prévoyance en faveur du personnel de l'entreprise (actuellement: la Fondation de prévoyance professionnelle Visana, successeur de X._; ci-après: la fondation Visana). Pour raisons de santé, S._ a dû mettre fin à son activité professionnelle au cours de l'année 1992. Par décision du 29 octobre 1993, la Caisse de compensation du canton de Berne lui a alloué une rente d'invalidité entière, fondée sur un degré d'invalidité de 100 %, à partir du 1er janvier 1993, ainsi qu'une rente complémentaire pour son épouse. Le 17 décembre 1993, l'Office fédéral de l'assurance militaire l'a également mis au bénéfice d'une rente d'invalidité avec effet au 1er mai 1993; pour cause de surindemnisation, le montant de cette rente a toutefois été réduit de 6'528 fr. à 5'236 fr. par mois. Dans le courant de l'année 1997, S._ s'est adressé à la fondation Visana pour s'informer sur ses droits en matière de prévoyance professionnelle, en particulier sur la possibilité d'un versement anticipé de sa prestation de libre passage à titre d'encouragement à la propriété d'un logement. La fondation Visana lui a répondu, d'une part, qu'elle ne pouvait lui allouer de prestations d'invalidité en raison d'une surindemnisation et, d'autre part, qu'il n'avait pas droit à un versement anticipé parce que dans son cas, le risque assuré (en l'occurrence l'invalidité) était déjà survenu. B. Par écriture du 15 septembre 2000, S._ a ouvert action contre la fondation Visana devant le Tribunal administratif du canton de Berne. Il concluait, sous suite de dépens, au versement de la prestation de libre passage auquel il avait droit à l'âge de 50 ans ou de la prestation de libre passage à laquelle il aura droit au moment du versement. La défenderesse a conclu au rejet de la demande. Statuant le 23 mars 2001, le tribunal a débouté le demandeur de ses conclusions pour le motif que le risque assuré était survenu. C. S._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, en reprenant les conclusions formulées devant la juridiction cantonale. La fondation Visana conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales a présenté des observations. 