Art. 9 BV (Arresteinsprache), hat sich ergeben: A.- Gestützt auf ein Arrestgesuch der Kantonalen Finanzverwaltung Schwyz verfügte der Einzelrichter des Gerichtspräsidiums X._ am 14. Juni 2000 die Verarrestierung der Grundstücke Parzellen-Nrn. ... und ..., Grundbuch Y._, die im Eigentum von A._ stehen. Dessen Einsprache gegen den Arrestbefehl blieb erfolglos (Verfügung des Gerichtspräsidenten des Bezirks X._ vom 3. Oktober 2000). B.- Gegen den Einspracheentscheid erhob A._ Rekurs beim Einzelrichter für Rekurse SchKG am Kantonsgericht St. Gallen. Zugleich ersuchte er um Gewährung der unentgeltlichen Prozessführung. Mit Entscheid vom 31. Oktober 2000 wies der Einzelrichter des Kantonsgerichts dieses Gesuch ab. Hiergegen erhob A._ mit Erfolg staatsrechtliche Beschwerde beim Bundesgericht (Urteil 5P.466/2000 vom 18. Januar 2001). Im Anschluss an dieses Urteil bewilligte der Einzelrichter des Kantonsgerichts die unentgeltliche Prozessführung (Verfügung vom 14. Februar 2001). Mit Entscheid vom 2. Mai 2001 wies er den Rekurs ab. C.- Gegen diesen Entscheid des Einzelrichters am Kantonsgericht St. Gallen in der Sache beschwert sich A._ wiederum mit staatsrechtlicher Beschwerde beim Bundesgericht. Er beantragt im Wesentlichen die Aufhebung des angefochtenen Entscheids. Ausserdem ersucht er für das Verfahren vor dem Bundesgericht um Gewährung der unentgeltlichen Rechtspflege. Die Finanzverwaltung des Kantons Schwyz schliesst namens des Kantons auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Einzelrichter des Kantonsgerichts hat auf eine Stellungnahme verzichtet. 