A.- D._, né le 13 juillet 1968, a été engagé dès le 16 janvier 1995 par l'entreprise G._ SA, en tant qu'ouvrier spécialisé (travaux spéciaux). En sa qualité d'aide-sondeur, il exerçait son activité dans le béton, paroi moulée, pieux, boue, fondations en équipe de deux ouvriers. A ce titre, il était assuré par la Caisse nationale suisse d'assurance en cas d'accidents (CNA) pour les accidents professionnels et non professionnels. Le 31 janvier 1995, D._ était occupé sur un chantier à B._, lorsqu'il a reçu un flexible de bentonite contre la jambe et qu'il a chuté. Les médecins du Service de chirurgie de l'Hôpital X._, qui l'ont opéré le 6 février 1995, ont posé le diagnostic de déchirure au condyle fémoral du ligament croisé postérieur au genou gauche et de déchirure du ligament latéral interne et du ménisco-fémoral à ce genou. Le patient a présenté une incapacité totale de travail jusqu'au 7 mai 1995, de 50 % du 8 au 28 mai 1995 et de 25 % du 29 mai au 18 juin 1995. A la suite de cet accident, pris en charge par la CNA, il a repris son activité en oeuvrant dans une équipe de trois ouvriers. A partir du 6 janvier 1997, D._ a consulté le docteur Y._, généraliste à V._, pour des douleurs au genou gauche. Les médecins du Service d'orthopédie et de traumatologie de l'appareil moteur du Centre Z._ ont procédé le 3 juillet 1997 à une arthroscopie du genou. Dans un rapport du 14 juillet 1997, le docteur F._, chef de clinique, a posé le diagnostic de chondrite stade II à III de la trochlée fémorale et du plate au tibial interne gauche et de rupture partielle du ligament croisé postérieur. Selon ce spécialiste, il n'y avait pas d'indication à une plastie du ligament, ni d'autre geste thérapeutique à proposer, mais une modification de l'activité professionnelle était souhaitable. Totalement puis partiellement incapable de travailler dès le 1er mai 1997, l'assuré a présenté depuis le 12 juin 1997 une incapacité totale de travail d'une durée indéterminée. Du 19 novembre 1997 au 28 janvier 1998, il a séjourné à la Clinique de réadaptation de W._. Le 3 novembre 1997, F._ a déposé une demande de prestations de l'assurance-invalidité. Le Service de réadaptation a soumis l'assuré à un examen psychotechnique. Dans un rapport du 26 avril 1999, qui se fondait sur les résultats obtenus lors de cet examen, il a avisé l'Office cantonal AI du Valais que celui-ci n'avait pas les potentialités suffisantes pour viser un reclassement. Il lui communiquait les activités possibles et les gains présumables pouvant être pris en considération. En raison des limitations physiques présentées, il partait de l'idée que F._ devait travailler essentiellement en position assise. Selon le docteur T._, médecin de l'office, les activités proposées par le Service de réadaptation étaient appropriées (avis du 11 mai 1999). Dans un projet de décision du 17 mai 1999, l'office a avisé F._ que son état de santé était compatible avec l'exercice à plein temps d'une activité lucrative adaptée à son handicap et qu'il était apte, dès février 1998, à réaliser à ce titre un revenu annuel brut moyen de 36 600 fr. Sans l'atteinte à sa santé, il percevrait dans son ancienne activité d'aide-soudeur un revenu annuel de 60 500 fr. Il résultait de la comparaison des revenus une invalidité de 40 %. Par ailleurs, l'office informait l'assuré que des mesures d'ordre professionnel n'étaient pas nécessaires dans son cas. Le 26 mai 1999, le docteur Y._ a contesté que F._ fût capable de travailler dans un métier tout à fait différent du sien. Il avisait le docteur T._ que la symptomatologie s'était nettement aggravée et l'invitait à revoir la situation médicale. De son côté, l'assuré, par lettre du 7 juin 1999, a déclaré qu'il n'était pas apte physiquement à travailler à 100 % dans les activités retenues par l'office. Dans un avis du 10 juin 1999, le docteur T._ a considéré que les activités proposées par le Service de réadaptation étaient exigibles. Se fondant sur un prononcé du 15 juin 1999, l'office, par décision du 1er novembre 1999, a alloué à F._ à partir du 1er mai 1998 un quart de rente d'invalidité, assortie d'un quart de rente complémentaire pour son épouse. Par décision du 23 novembre 1999, il lui a accordé dès le 1er janvier 1999 un quart de rente pour enfant. B.- Dans des mémoires séparés, F._ a recouru contre ces décisions devant le Tribunal cantonal des assurances du canton du Valais, en concluant, sous suite de frais et dépens, à l'annulation de celles-ci. A titre principal, il demandait que la cause soit renvoyée à l'office AI pour qu'il entreprenne des mesures de reclassement. A titre subsidiaire, il concluait à l'allocation d'une rente entière d'invalidité, voire très subsidiairement d'une demi-rente. Produisant un certificat médical du docteur Y._ du 29 juillet 1999, il sollicitait la mise en oeuvre d'une expertise aux fins de déterminer quel serait son rendement dans les places de travail indiquées, compte tenu de son handicap. La juridiction cantonale a joint les causes. Par jugement du 24 avril 2001, elle a rejeté les recours. C.- F._ interjette recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci et à l'allocation d'une rente entière d'invalidité, subsidiairement d'une demi-rente. A titre très subsidiaire, il demande que la cause soit renvoyée au tribunal cantonal des assurances pour qu'il procède à une expertise et rende une nouvelle décision au sens des considérants. L'Office cantonal AI du Valais renonce à répondre au recours. L'Office fédéral des assurances sociales ne s'est pas déterminé. 