rechtliches Gehör), hat sich ergeben: A.- Durch öffentliche Versteigerung vom 5. Oktober 1990 erwarb B._ (Beschwerdegegner) das Grundstück X._, haltend 30'748 m2, bestehend aus Wohnhaus, Gaden, Werkstatt, Hofraum, Weg, Wiese und Bach. Gemäss den Steigerungsbedingungen des Betreibungsamts Galgenen vom 27. August 1990 bestanden über Stall und Wiesland keine Miet- oder Pachtverträge. A._ (Beschwerdeführer) nutzt den Stall und das Wiesland dieses Grundstücks seit 1988, um Schafe zu halten. Am 30. März 1999 teilte der Beschwerdegegner dem Beschwerdeführer mit, er habe den Stall und das Grundstück bis zum 30. Juni 1999 zu räumen und zu verlassen. B.- Mit Klage vom 25. Januar 2000 beantragte der Beschwerdegegner dem Bezirksgericht March die Ausweisung des Beschwerdeführers. Mit Verfügung vom 26. Januar 2000 wurde der Beschwerdeführer aufgefordert, bis zum 16. Februar eine schriftliche Klageantwort einzureichen. Für den Säumnisfall wurde angedroht, dass Anerkennung der klägerischen Sachdarstellung und Verzicht auf Einrede angenommen würde. Nachdem der Beschwerdeführer dieser Aufforderung keine Folge geleistet hatte, wurde ihm mit Verfügung des Einzelrichters des Bezirks March vom 22. Februar 2000 befohlen, das Grundstück X._, innert drei Tagen seit Rechtskraft der Verfügung ordnungsgemäss zurückzugeben. Einen hiergegen erhobenen Rekurs wies das Kantonsgericht des Kantons Schwyz mit Entscheid vom 1. Dezember 2000 unter Bestätigung der angefochtenen Verfügung ab. C.- a) Gegen diesen Entscheid führt der Beschwerdeführer sowohl Berufung als auch staatsrechtliche Beschwerde. Mit der Beschwerde verlangt er die Aufhebung des angefochtenen Urteils. Der Beschwerdegegner und das Kantonsgericht schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. b) Mangels Erreichens der Berufungssumme ist das Bundesgericht mit Entscheid vom heutigen Tag auf die Berufung nicht eingetreten. 