(Versicherungsprämienabzüge und Sozialabzüge), hat sich ergeben: A.- X._ ist Mutter der 1971, 1973 und 1978 geborenen Kinder A._, B._ und C._. Sie ist geschieden. Die Kinder standen Ende 1996 noch in der Ausbildung. Sie erhielten von ihren Vätern Unterhaltsbeiträge von monatlich Fr. 1'200.-- (A._ und B._) bzw. Fr. 1'350.-- (C._). Bei der Veranlagung von X._ für die direkte Bundessteuer 1997/98 gewährte die Veranlagungsbehörde den geltend gemachten Versicherungsabzug von Fr. 1'400.-- gemäss Art. 33 Abs. 1 lit. g des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642. 11, in der Fassung vom 4. März 1996). Ein Sozialabzug nach Art. 35 DBG (ebenfalls in der Fassung vom 4. März 1996) wurde, da nicht begehrt, nicht gewährt. Das steuerbare Einkommen wurde auf Fr. 113'700.-- festgesetzt und dem Tarif nach Art. 36 Abs. 1 DBG für Alleinstehende unterstellt. B.- Im Einspracheverfahren beanspruchte die Pflichtige für ihre Kinder den Sozialabzug nach Art. 35 Abs. 1 lit. a DBG zu je Fr. 5'600.-- bzw. eventuell je Fr. 5'100.--, den erhöhten Versicherungsprämienabzug gemäss Art. 33 Abs. 1 lit. g DBG (Erhöhung um je Fr. 700.--, eventuell Fr. 600.-- pro Kind) sowie den Verheiratetentarif nach Art. 36 Abs. 2 DBG. Sie brachte vor, sie bestreite in erheblichem Umfang den Unterhalt ihrer Kinder, die sich alle noch in der Ausbildung befänden und für welche sie keine Unterhaltsbeiträge erhalte; im Übrigen käme sie ohnehin überwiegend für deren Unterhalt auf. Der Steuerkommissär wies die Einsprache am 14. Juni 2000 ab. X._ erhob hiegegen Beschwerde bei der Bundessteuer-Rekurskommission des Kantons Zürich. Sie verlangte, das Einkommen sei um Fr. 17'100.-- auf Fr. 96'600.-- herabzusetzen. Mit Entscheid vom 9. August 2001 hiess die Bundessteuer-Rekurskommission die Beschwerde gut. C.- Am 14. September 2001 hat das Kantonale Steueramt Zürich gegen diesen Entscheid Verwaltungsgerichtsbeschwerde beim Bundesgericht erhoben. Es stellt den Antrag, es seien der Beschwerdegegnerin für die drei mündigen Kinder A._, B._ und C._ die Kinderabzüge von je Fr. 5'100.-- und die zusätzlichen Versicherungsprämienabzüge von je Fr. 600.-- zu verweigern, sowie es sei die Beschwerdegegnerin für die direkte Bundessteuer 1997/98 mit einem steuerbaren Einkommen von Fr. 113'700.-- (zum Tarif gemäss Art. 36 Abs. 2 DBG) zu veranlagen, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. D.- Die Beschwerdegegnerin, die Vorinstanz und die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen. 