Art. 9 und 29 Abs. 2 BV (Zivilprozess), hat sich ergeben: A.- A._ (Beschwerdeführer) verkaufte mit öffentlich beurkundetem Vertrag vom 10. August 1992 zwei Stockwerkeinheiten der Liegenschaft "X._" in Y._ an seine Schwester C._. Bei diesen Einheiten handelt es sich um eine Wirtschaft im Erd- und eine 4-Zimmerwohnung im Obergeschoss. Gemäss Ziffer 16 des Vertrags gewährte der Verkäufer der Erwerberin zudem das ausschliessliche Benützungsrecht an einer Garage in der Liegenschaft. Dieses Recht sollte solange bestehen, bis der Eigentümer die Garage für einen Ausbau als Wohnraum in Anspruch nehmen würde, jedoch gegen Gewährung eines Ersatzraums im gleichen Haus gegen Entgelt. B.- Im Jahre 1994 führte der Ehemann von C._, B._ (Beschwerdegegner), vor Bezirksgericht Schaffhausen ein Einspracheverfahren gegen ein Projekt des Beschwerdeführers zum Um- und Ausbau der Liegenschaft "X._". Nachdem die Parteien am 16. Mai 1995 eine Vereinbarung geschlossen hatten, in der sich der Beschwerdegegner unter anderem zum Rückzug der Baueinsprache verpflichtete, schrieb das Bezirksgericht das Verfahren am 23. Mai 1995 als wegen Rückzugs der Einsprache erledigt ab. In der Abschreibungsverfügung wird festgehalten, die Parteien hätten sich wie folgt geeinigt: "A._ verpflichtet sich, B._ anstelle des bisherigen Einstellraums (Garage) im Erdgeschoss der Liegenschaft GB Y._ Nr. 84 den unmittelbardaneben gelegenen Raum (`Lager`, 20,16 m2, nach Massgabe des Grundrissplanes 1:100, Plan Nr. 839. 2, vom 22.06./15. 09.1994) für einen monatlichen Mietzins von Fr. 100.-- zur Benutzung zu überlassen (vgl. Kaufvertrag A._/C. _ vom 10.08.1992, Ziffer 16 der weiteren Vereinbarungen).. " C.- Am 11. Dezember 1997 kündigte der Beschwerdeführer das Mietverhältnis mit dem Beschwerdegegner auf den 31. Dezember 1997 unter Berufung auf Eigenbedarf. Die hierauf vom Beschwerdegegner angerufene Schlichtungsstelle erklärte die Kündigung am 11. Juni 1998 für ungültig. Mit Klage vom 27. Juli 1998 beantragte der Beschwerdeführer dem Kantonsgericht Schaffhausen, es sei die Gültigkeit der gegenüber dem Beschwerdegegner ausgesprochenen Kündigung festzustellen. Das Kantonsgericht wies die Klage am 21. Oktober 1998 ab. Gleich entschied das Obergericht des Kantons Schaffhausen auf Berufung des Beschwerdeführers mit Urteil vom 6. Juli 2001. D.- Mit staatsrechtlicher Beschwerde wegen Verletzung von Art. 9 und 29 Abs. 2 BV beantragt der Beschwerdeführer dem Bundesgericht die Aufhebung des Urteils des Obergerichts. Der Beschwerdegegner schliesst auf Abweisung der Beschwerde, soweit auf sie einzutreten sei. Das Obergericht hat auf Vernehmlassung verzichtet. 