Nichtverlängerung der Aufenthaltsbewilligung, hat sich ergeben: A.- Der jugoslawische Staatsangehörige A._, geboren 1971, arbeitete von 1989 an während vier Jahren als Saisonnier in der Schweiz. Am 25. Februar 1993 erhielt er die Jahresaufenthaltsbewilligung. Am 5. August 1994 heiratete A._ eine in der Schweiz niedergelassene Staatsangehörige von Bosnien-Herzegowina. Aus dieser Beziehung gingen ein Sohn, geboren 1994, und eine Tochter, geboren 1996, hervor. Nachdem A._ wiederholt strafrechtlich verurteilt worden war, lehnte es die Fremdenpolizei des Kantons Aargau mit Verfügung vom 28. Februar 2000 und Einspracheentscheid vom 9. Mai 2000 ab, ihm die Aufenthaltsbewilligung zu verlängern. Am 3. November 2000 wies das Rekursgericht im Ausländerrecht des Kantons Aargau eine dagegen erhobene Beschwerde ab. B.- Mit Verwaltungsgerichtsbeschwerde vom 5. Dezember 2000 an das Bundesgericht beantragt A._, die Fremdenpolizei des Kantons Aargau sei anzuweisen, ihm die Aufenthaltsbewilligung zu erneuern. Das Rekursgericht im Ausländerrecht und das Bundesamt für Ausländerfragen schliessen auf Abweisung der Beschwerde. Die Fremdenpolizei stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. C.- Mit Verfügung vom 11. Januar 2001 hat der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung erteilt. 