Baubewilligung, hat sich ergeben: A.- Die Baugesellschaft Lebernacker beabsichtigt die Erstellung einer Überbauung mit 13 Einfamilienhäusern und einer gemeinsamen Tiefgarage an der Ecke Krummacker/Lebernstrasse in Schaffhausen. Die Tiefgarage soll über die südlich des Baugrundstücks verlaufende Lebernstrasse erschlossen werden. Die erforderlichen baurechtlichen Bewilligungen wurden vom Stadtrat Schaffhausen am 4. August 1998 und vom Baudepartement des Kantons Schaffhausen für die Tiefgarage am 20. August 1998 erteilt. Ernst und Iris Flückiger wohnen an der Lebernstrasse gegenüber der projektierten Einfahrt in die Tiefgarage. Sie erhoben Rekurs an den Regierungsrat des Kantons Schaffhausen mit dem Antrag, die erteilten Baubewilligungen seien aufzuheben. Sie beanstandeten hauptsächlich eine ungenügende Erschliessung, da die Lebernstrasse nur 4 Meter breit sei, während eine hinreichende Erschliessung gemäss § 5 der Erschliessungsverordnung vom 6. April 1971 mindestens 4,5 Meter breit sein müsse. Die Erschliessung sei auch planerisch verfehlt, da die Lebernstrasse eine Fussgängerverbindung zum Dorfzentrum von Herblingen darstelle und durch die geplante Zufahrt ihre Funktion gemäss Bundesgesetz vom 4. Oktober 1985 über Fuss- und Wanderwege (FWG; SR 704) nicht mehr wahrnehmen könne. Das Grundstück sollte deshalb über den westlich davon verlaufenden Krummacker erschlossen werden. Der Regierungsrat wies am 2. Februar 1999 den Rekurs ab. Er erwog unter anderem, nach feststehender Praxis würden Strassen, die wenige und zumeist überbaute Grundstücke erschliessen, aber eine Fahrbahnbreite von weniger als 4,5 Meter aufweisen, als Zufahrt im Sinne von § 7 Abs. 2 der kantonalen Bauverordnung vom 15. Dezember 1998 (BauV) bezeichnet. Die Lebernstrasse genüge daher als Zufahrt. B.- Dagegen erhoben Ernst und Iris Flückiger Verwaltungsgerichtsbeschwerde an das Obergericht des Kantons Schaffhausen, mit dem Antrag, den Entscheid des Regierungsrats und die Baubewilligungen aufzuheben. Das Obergericht führte am 6. August 1999 einen Augenschein durch. Mit Urteil vom 3. Dezember 1999 erwog es, zwar könne die Lebernstrasse entgegen der Ansicht des Regierungsrates nicht als Zufahrt im Sinne von § 7 Abs. 2 BauV qualifiziert werden, da sie nicht nur wenige Grundstücke erschliesse. Sie müsse daher gemäss § 7 Abs. 1 lit. b BauV mindestens 4,5 Meter breit sein, um als hinreichende Erschliessung zu gelten. Doch könnten Mängel untergeordneter Natur mit Auflagen im Rahmen der Baubewilligung geheilt werden. Da die Bauherrschaft sich bereit erklärt habe, die Lebernstrasse von der Einmündung Krummacker bis zur Garageneinfahrt auf 4,5 Meter zu verbreitern und dafür nur eine Strassenmehrfläche von 27 m2 erforderlich sei, könne über diesen Ausbau im vorliegenden Baubewilligungsverfahren vor Obergericht entschieden werden. Ein Verfahren nach Strassengesetz erübrige sich, zumal das Obergericht den Verfahrensbeteiligten und den betroffenen Anwohnern Gelegenheit zur Äusserung gegeben habe. Der Stadtrat von Schaffhausen habe zudem zu dieser Verbreiterung seine Einwilligung erteilt. Dementsprechend hiess das Obergericht die Beschwerde teilweise gut. Es bestätigte die Baubewilligungen, erteilte aber der Bauherrschaft zusätzlich die Auflage, die Lebernstrasse von der Einmündung Krummacker bis zur projektierten Ein- und Ausfahrt in die Tiefgarage auf 4,5 m Breite auszubauen. Die Kosten des Rekursverfahrens vor dem Regierungsrat auferlegte es den Beschwerdeführern zu einem Drittel und den privaten Beschwerdegegnern zu zwei Dritteln, die Kosten des Verwaltungsgerichtsverfahrens je hälftig den Beschwerdeführern und den privaten Beschwerdegegnern. Parteientschädigungen wurden keine zugesprochen. C.- Ernst und Iris Flückiger erheben staatsrechtliche Beschwerde mit dem Antrag, der Entscheid des Obergerichts sei aufzuheben. Zudem beantragen sie Erteilung der aufschiebenden Wirkung. D.- Mit Verfügung des Präsidenten der I. öffentlichrechtlichen Abteilung des Bundesgerichts vom 10. Februar 2000 wurde das Gesuch um aufschiebende Wirkung abgewiesen. E.- Die Baugesellschaft Lebernacker und das Obergericht beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Baudepartement des Kantons Schaffhausen verzichtet auf eine Vernehmlassung. 