Art. 29 Abs. 3 BV (Wahlfähigkeit als Primarlehrer), hat sich ergeben: A.- G._, geboren 1955, absolvierte von 1992 bis 1994 den ausserordentlichen Ausbildungsgang für Berufsleute am Lehrerseminar in X._. Am 8. Juli 1994 erteilte ihm der Erziehungsrat des Kantons St. Gallen aufgrund der bestandenen Prüfung das Diplom als Primarlehrer. Mit Beschluss vom 21. September 1994 lehnte der Erziehungsrat hingegen die Erteilung des st. gallischen Wahlfähigkeitszeugnisses als Primarlehrer ab. Am 2. September 1997 beantragte G._ dem Erziehungsrat, es sei ihm das Wahlfähigkeitszeugnis auszustellen, worauf ihm der Erziehungsrat am 14. Januar 1998 eine auf zwei Jahre befristete Wahlfähigkeit erteilte, die mit der Auflage verbunden war, am Programm einer Lehrerberatung für Junglehrkräfte teilzunehmen. B.- G._ ersuchte am 24. Januar 2000 den Erziehungsrat, seine Wahlfähigkeit als Primarlehrer vorbehaltlos und unbefristet festzustellen. Mit Schreiben vom 31. Januar 2000 teilte das Erziehungsdepartement des Kantons St. Gallen, Amt für Volksschule, G._ mit, dass sein Gesuch nach Erhalt eines Visitationsberichtes der zuständigen Bezirksschulrätin dem Erziehungsrat zur Entscheidung vorgelegt werde. Das Amt für Volksschule ersuchte mit Schreiben vom 3. Februar 2000 die Schulleiterin des Schulhauses, wo G._ seit 1998 wiederholt als Stellvertreter unterrichtet hatte, um eine Stellungnahme (Beobachtungen, Eindrücke, Beurteilungen etc.). Die Schulleiterin teilte am 9. Februar 2000 auf telefonische Anfrage mit, dass es nicht ihre Aufgabe sei, G._s Schulführung zu beurteilen (Aktennotiz vom 1. Februar/9. Februar 2000 des Amtes für Volksschule). Gemäss Aktennotiz vom 1. Februar/9. Februar 2000 wurden sodann bei der Bezirksschulrätin als auch beim zuständigen Lehrerberater telefonische Auskünfte über die Schulführung G._s eingeholt. Am 27. Februar 2000 reichte die zuständige Bezirksschulrätin einen ergänzenden Visitationsbericht ein, welcher G._ durch das Amt für Volksschule zur Stellungnahme unterbreitet wurde. Die Aktennotiz vom 1. Februar/9. Februar 2000 wurde ihm hingegen nicht zur Kenntnis gebracht. Mit Schreiben vom 1. April 2000 liess sich G._ zum Visitationsbericht der Bezirksschulrätin vernehmen. Am 12. April 2000 wies der Erziehungsrat das Gesuch von G._ um Erteilung einer definitiven Wahlfähigkeit als Primarlehrer ab. Er erwog im Wesentlichen, G._ habe wohl viel gearbeitet und sich umfangreich vorbereitet. Dennoch habe seine Unterrichtsführung trotz angekündigter Visitationen zu wünschen übrig gelassen. Die Bezirksschulrätin habe den Eindruck gewonnen, dass sich die Klasse gelangweilt sowie orientierungs- und führungslos verhalten habe. Die Hilfsangebote des Lehrerberaters seien von G._ zunehmend abgelehnt worden, womit er gegen die Auflagen des Erziehungsrates verstossen habe. C.- Eine gegen diesen Entscheid gerichtete Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen mit Entscheid vom 24. Januar 2001 ab. Zur Begründung führte es im Wesentlichen aus, der Erziehungsrat habe das rechtliche Gehör G._s verletzt, indem es ihm die Aktennotiz vom 1. Februar/9. Februar 2000 vorenthalten habe. Der fraglichen Aktennotiz hätten indessen keine Erkenntnisse entnommen werden können, die für den Ausgang des Verfahrens von selbständiger Bedeutung gewesen seien. Der Erziehungsrat habe den Sachverhalt rechtsgenüglich abgeklärt und sei zu Recht davon ausgegangen, dass G._ als Primarlehrer nicht wählbar sei. D.- Mit Eingabe vom 1. März 2001 führt G._ staatsrechtliche Beschwerde beim Bundesgericht wegen Verletzung des rechtlichen Gehörs mit dem Antrag, den Entscheid des Verwaltungsgerichts vom 24. Januar 2001 aufzuheben. Das Erziehungsdepartement beantragt, die Beschwerde abzuweisen. Das Verwaltungsgericht schliesst ebenfalls auf Abweisung der Beschwerde. 