Art. 9 BV (Zivilprozess; Kostenverteilung; Streitwert), hat sich ergeben: A.- A._ war seit dem 1. September 1998 bei der X._ AG angestellt. Am 26. Juli 1999 wurde ihm per 31. August 1999 gekündigt. A._ war vom 26. Juli 1999 bis 4. August 1999 krank und gemäss Arztzeugnis zu 100 % arbeitsunfähig. B.- Am 9. September 1999 reichte A._ beim Arbeitsgericht Lenzburg gegen die X._ AG Klage ein. Mit dieser verlangte er die Bezahlung von zwei Monatslöhnen (August und September 1999), Feriengeld und anderen Forderungen, insgesamt Fr. 19'419. 65 nebst Zins. Im Weiteren forderte er die Ausstellung eines Arbeitszeugnisses. Das Arbeitsgericht hiess die Klage mit Urteil vom 15. November 2000 teilweise gut. Die Arbeitgeberin wurde verpflichtet, dem Arbeitnehmer netto Fr. 3'090. 25 nebst Zins zu bezahlen. Das Gericht ermittelte einen Streitwert von Fr. 25'669. 65 und auferlegte dem Verfahrensausgang entsprechend dem Arbeitnehmer 7/8 der Gerichtskosten und 3/4 der Parteikosten der Arbeitgeberin. Mit Urteil vom 18. Juni 2001 bestätigte das Obergericht des Kantons Aargau auf Beschwerde des Arbeitnehmers hin diesen Kostenentscheid. C.- Der Arbeitnehmer führt gegen das obergerichtliche Urteil staatsrechtliche Beschwerde beim Bundesgericht und verlangt dessen Aufhebung. Gleichzeitig reichte er ein Gesuch um Erteilung der aufschiebenden Wirkung ein, welches mit Verfügung des Präsidenten der I. Zivilabteilung vom 8. Oktober 2001 abgewiesen wurde. Die Arbeitgeberin schliesst in ihrer Vernehmlassung auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Obergericht des Kantons Aargau verzichtet auf eine Vernehmlassung. 