Faits: A. A.a B._, née en 1962, institutrice de profession, a d'abord réduit son temps de travail en septembre 2000 pour des raisons de santé, avant de mettre un terme à son activité trois ans plus tard. Le 6 octobre 2003, elle a présenté une demande de prestations de l'assurance-invalidité, tendant à l'octroi d'une rente. Par courrier du 3 juin 2004, elle a requis des moyens auxiliaires (chaise roulante et main courante pour escalier) et la prise en charge des frais de transformation de son véhicule. Entre-temps, l'Office cantonal AI du canton du Valais (ci-après: l'office AI) a recueilli des renseignements économiques et divers avis médicaux, puis mis en oeuvre une visite chez l'assurée afin d'évaluer ses besoins (rapport de la Fédération suisse de consultations en moyens auxiliaires pour personnes handicapées [FSCMA] du 22 juin 2004). Par décisions successives des 5 juillet, 28 septembre, 3 novembre et 30 décembre 2004, ainsi que du 13 janvier 2005, l'office AI a accepté de prendre en charge les frais relatifs à la remise en prêt d'un fauteuil roulant manuel, à la pose de deux mains courantes et d'une barre d'appui pour la salle de bain, à la modification du véhicule, et à l'acquisition de cannes-béquilles. A.b Du 8 au 28 septembre 2004, B._ a séjourné à la Clinique X._ où une évaluation pluridisciplinaire (avec examens clinique, neurologique et psychiatrique) de sa situation a été effectuée. Diagnostiquant des troubles de conversion avec présentation mixte (F44.7), un trouble dépressif majeur (F32.0) et, au titre de comorbidités, un canal cervical étroit congénital C5-C6 et C6-C7 (opéré le 3 février 2004), des troubles dégénératifs lombaires, des cervicalgies chroniques et des lombalgies chroniques, les docteurs R._ et A._ ont indiqué que l'assurée présentait un syndrome fonctionnel de l'hémicorps gauche sans signe d'atteinte radiculaire, tronculaire et médullaire (notamment des signes de myélopathie) et qualifié d'important le handicap fonctionnel; l'affection psychiatrique était au premier plan et justifiait une incapacité totale de travail de longue durée dans toute profession (rapport du 28 septembre 2004). Après que la doctoresse D._, chiropraticienne, s'est prononcée sur la nécessité d'une aide de tiers (questionnaire en vue de déterminer l'impotence du 25 février 2005), l'office AI a admis la prise en charge des frais d'aménagement de la salle de bain de l'assurée (décision du 3 mars 2005). Il a également confié une expertise au Centre d'observation médicale de l'AI (COMAI) à Y._ où les docteurs M._, neurologue, et S._, psychiatre, ont conclu à une incapacité totale de travail en raison d'un trouble dissociatif (de conversion) mixte (sensorielle et moteur; F44.7) et d'un trouble spécifique de la personnalité (personnalité histrionique F60.4), lesquels induisaient un total dysfonctionnement sur le plan physique et psychique (rapport reçu par l'office AI le 3 août 2005). Le 27 juillet 2005, l'assurée a sollicité la prise en charge d'un fauteuil roulant électrique afin d'augmenter sa mobilité, puis, le 19 août suivant, celle d'un ascenseur. Après avoir requis (notamment) l'avis de son Service médical régional Z._, posé des questions complémentaires au COMAI (réponse du docteur O._, psychiatre, du 31 janvier 2006), l'office AI a nié le droit de B._ à une allocation pour impotent, par décision du 14 avril 2006. Les 15, 16, 17 et 18 avril 2006, il a successivement refusé des moyens auxiliaires (orthèse cervicale et de tronc, fauteuil roulant électrique, lift d'escalier ou fauteuil pour monter et descendre les escaliers). Le lendemain, il a rendu une décision par laquelle il a reconsidéré la décision d'octroi d'un fauteuil roulant, en limitant la prise en charge de ce moyen auxiliaire au 30 avril 2006 et invité l'assurée à restituer celui qui lui avait été remis en prêt. Par un courrier séparé du même jour, il a encore indiqué à l'intéressée qu'il exigeait qu'elle se soumît à un traitement psychiatrique (au besoin couplé d'un séjour de réhabilitation physique et psychiatrique). Le 10 mai 2006, B._ s'est opposée aux décisions des 14 et 19 avril 2006, par lesquelles le droit à une allocation pour impotent avait été nié et la restitution du fauteuil roulant exigée; elle a indiqué ne pas contester les autres décisions rendues. Par prononcé du 12 juin 2006, l'office AI a mis l'assurée au bénéfice d'une rente entière de l'assurance-invalidité, fondée sur un taux d'invalidité de 100% et assortie de rentes complémentaires pour (trois) enfants, à partir du 1er février 2004. B._ a encore requis la prise en charge des frais d'un déambulateur, ce qui lui a été refusé par décision de l'office AI du 3 janvier 2007. Par décision (sur opposition) du 17 juillet suivant, l'administration a rejeté l'opposition de l'assurée et confirmé sa décision du 14 avril 2006. B. En temps voulu, B._ a déféré les décisions des 3 janvier et 17 juillet 2007 au Tribunal cantonal des assurances du canton du Valais. Après avoir joint les causes, le Tribunal a, par jugement du 24 juin 2008, admis les recours. Annulant les décisions des 3 janvier et 17 juillet 2007, il a reconnu le droit de l'assurée à la mise à disposition d'un fauteuil roulant manuel postérieurement au 30 avril 2006 et renvoyé le dossier à l'intimé pour instruction complémentaire "dans le sens des considérants 2. a)dd et 2. b)cc et nouvelles décisions concernant le droit de la recourante à un déambulateur et à une allocation pour impotence". C. Agissant par la voie du recours en matière de droit public, l'office AI conclut, sous suite de frais, à l'annulation partielle du jugement du 24 juin 2008 dans le sens où le Tribunal cantonal valaisan des assurances a constaté qu'une allocation pour impotence aurait dû être accordée à B._ et admis qu'elle bénéficiait d'un fauteuil roulant manuel postérieurement au 30 avril 2006. Il demande également que l'affaire soit retournée au Tribunal pour que celui-ci statue à nouveau sur le droit aux dépens. Il a encore sollicité l'effet suspensif à son recours, ce qui lui a été refusé par ordonnance du 7 octobre 2008. B._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 