Schiedsgerichtskonkordat; Art. 29 und 30 Abs. 2 BV,hat sich ergeben: A.- Marcel Bär-Leiser (Beschwerdeführer) übertrug der Otto Kamber Holzbau AG (Beschwerdegegnerin) Arbeiten an seiner Liegenschaft in Matzendorf. Nach Zahlung eines Teils der vereinbarten Entschädigung lehnte er es ab, die Restforderung zu begleichen. Er begründete dies damit, dass die Arbeiten mangelhaft ausgeführt seien. Die Beschwerdegegnerin klagte daraufhin auf Bezahlung von Fr. 58'556. 05 nebst Zins und Zahlungsbefehlskosten. Vor Zivilgericht einigten sich die Parteien am 15./18. Juli 1994 dahin, das Guthaben der Beschwerdegegnerin durch einen Experten für Zimmerei- und Schreinereiarbeiten ermitteln zu lassen, und wählten dazu den diplomierten Zimmermeister und Bauführer Kurt Schärer. Dieser gelangte nach umfangreichen Untersuchungen am 17. Januar 1995 zu einem Forderungsbetrag von insgesamt Fr. 43'852. 95 (inkl. 5 % Zins bis 31. Dezember 1994). B.- a) Mit Nichtigkeitsbeschwerde gemäss Art. 36 ff. des Konkordats über die Schiedsgerichtsbarkeit (KSG) stellte der Beschwerdeführer am 17. Februar 1995 beim Appellationsgericht des Kantons Basel-Stadt das Begehren auf Feststellung, dass kein Schiedsspruch im Sinne des Konkordats vorliege; eventualiter verlangte er die Aufhebung des Schiedsspruchs. Der Ausschuss des Appellationsgerichts wies die Beschwerde am 18. April 1995 ab. Mit Urteil vom 18. April 1996 hiess das Bundesgericht eine vom Beschwerdeführer gegen diesen Entscheid erhobene staatsrechtliche Beschwerde teilweise gut und hob das Urteil des Appellationsgerichts (Ausschuss) des Kantons Basel-Stadt auf. b) Am 14. Juni 1996 hob der wiederum mit der Sache befasste Ausschuss des Appellationsgerichts des Kantons Basel-Stadt den Schiedsspruch vom 17. Januar 1995 auf und wies die Sache zur Neubeurteilung im Sinne der Erwägungen an den Einzelschiedsrichter zurück. In der Folge ergaben sich Differenzen zwischen den Parteien und dem Schiedsrichter über die weitere Behandlung des Falles, was zu einer umfangreichen Korrespondenz sowie schliesslich zu einer Aufsichtsbeschwerde des Beschwerdeführers gegen den Einzelschiedsrichter wegen Rechtsverzögerung führte, womit er u.a. dessen Absetzung verlangte. Im Rahmen dieses Verfahrens setzte der Zivilgerichtspräsident dem Einzelschiedsrichter Frist, um die "Neubeurteilung der Sache, d.h. die Verbesserung seines Schiedsspruches vom 17. Januar 1995" vorzunehmen. Daraufhin verfasste der Schiedsrichter ein mit "Ergänzung des Schiedsgerichtsentscheids vom 17. Januar 1995" betiteltes und vom 21. Dezember 1999 datiertes Dokument. Dieses übermittelte er dem Zivilgerichtspräsidenten, welcher es seinerseits den Parteien weiterleitete. Gleichzeitig schrieb er das aufsichtsrechtliche Verfahren gegen den Schiedsrichter als gegenstandslos ab. c) Am 2. Februar 2000 erhob der Beschwerdeführer beim Appellationsgericht des Kantons Basel-Stadt Nichtigkeitsbeschwerde und beantragte, es sei festzustellen, dass die sogenannte "Ergänzung des Schiedsgerichtsentscheids vom 17. Januar 1995" kein Schiedsspruch im Sinne des KSG darstelle; eventuell sei diese als nichtig zu erklären und aufzuheben; überdies sei die Sache zur Beurteilung im Sinne des KSG und des geltenden Rechts bzw. zur entsprechenden Neubeurteilung zurückzuweisen. Der Ausschuss des Appellationsgerichts des Kantons Basel-Stadt hiess die Beschwerde mit Urteil vom 23. Juni 2000 teilweise gut und wies den Einzelschiedsrichter an, in einer weiteren Ergänzung seines Schiedsspruchs die Anträge der Parteien anzugeben. Im Übrigen wies es die Beschwerde ab. d) Am 3. Oktober 2000 verfasste der Einzelschiedsrichter eine "2. Ergänzung des Schiedsgerichtsentscheides vom 17. Januar 1995", in welchem er die Anträge der Parteien wiedergab. Eine vom Beschwerdeführer auch gegen diese Ergänzung erhobene Nichtigkeitsbeschwerde, welche sich zugleich auch gegen die Ergänzung vom 21. Dezember 1999 richtete, wies der Ausschuss des Appellationsgerichts des Kantons Basel-Stadt mit Urteil vom 14. Januar 2001 ab, wobei er zur Begründung u.a. auf sein Urteil vom 23. Juni 2000 verwies. C.- Der Beschwerdeführer hat gegen das Urteil des Appellationsgerichts (Ausschuss) des Kantons Basel-Stadt vom 14. Januar 2001 staatsrechtliche Beschwerde erhoben. Darin beantragt er dem Bundesgericht im Wesentlichen, das angefochtene Urteil sei aufzuheben. Die Beschwerdegegnerin schliesst sinngemäss auf Abweisung der Beschwerde. Das Appellationsgericht verzichtet auf eine Vernehmlassung und beantragt gestützt auf das angefochtene Urteil die Abweisung der Beschwerde. 