A.- En 2000, F._ était affilié à la Caisse-maladie pour les industries du bois et du bâtiment et branches annexes (ci-après : la CMBB ou la caisse) notamment pour une indemnité journalière en cas d'incapacité de travail due à la maladie, dans le cadre d'un contrat collectif de l'association X._. A la suite d'un accident survenu le 27 janvier 2000, le prénommé a été reconnu incapable de travailler pour une durée indéterminée. Après que l'assureur-accidents a supprimé le versement de ses prestations d'assurance, la CMBB lui a alloué des indemnités journalières dès le 17 février 2000. Le 4 juillet 2000, F._ s'est présenté au guichet de l'agence de la CMBB pour y déposer un certificat médical de son médecin traitant, le docteur M._, aux termes duquel il était toujours sous traitement médical mais néanmoins autorisé à quitter la Suisse du 5 juillet au 20 août 2000. L'assuré a encore confirmé par téléphone son intention de partir à l'étranger à un inspecteur de la caisse qui s'était rendu le jour même à son domicile pour un contrôle alors qu'il était absent (cf. rapport de visite établi le 5 juillet 2000). Par lettre du 6 juillet 2000, la CMBB a informé l'assuré qu'elle ne lui verserait pas de prestations pour la période correspondant à son séjour à l'étranger, dès lors qu'il avait quitté la Suisse sans l'en avoir avisé préalablement comme l'exigent ses conditions générales. La caisse a confirmé sa position dans une décision formelle prononcée le 31 août 2000. Saisie d'une opposition, elle l'a écartée par une nouvelle décision le 24 novembre 2000. B.- L'assuré a recouru contre cette décision sur opposition devant le Tribunal cantonal valaisan des assurances, en faisant valoir qu'il avait présenté une demande d'autorisation de se rendre à l'étranger en bonne et due forme, et que l'employée au guichet de la CMBB lui aurait laissé entendre que tout "était en ordre". Par jugement du 13 avril 2001, le tribunal a rejeté son recours. C.- F._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation. Il conclut, sous suite de frais et dépens, à ce que la CMBB soit condamnée à lui verser les indemnités journalières dues durant toute la période de son séjour à l'étranger. La CMBB conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales a renoncé à se déterminer. D.- Le 6 juin 2002, la IIe Chambre du Tribunal fédéral des assurances a tenu audience. 