Sachverhalt: A. Der 1964 geborene kosovarische Staatsangehörige X._ reiste am 27. September 1990 gemeinsam mit seiner damaligen Freundin, der 1974 geborenen Y._, illegal in die Schweiz ein und ersuchte hier ohne Erfolg um Asyl. Während Y._ wieder in ihre Heimat zurückkehrte, heiratete X._ am 11. April 1994 - vier Tage vor Ablauf der ihm angesetzten Ausreisefrist - die ursprünglich aus Bosnien-Herzegowina stammende Schweizerin Z._. Daraufhin erhielt er eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau. Die Ehe zwischen X._ und Z._ wurde am 16. Dezember 1999 geschieden. Die Aufenthaltsbewilligung von X._ wurde indes weiterhin verlängert, letztmals bis Dezember 2008. Am 30. Juni 2008 ersuchte X._ um Erteilung der Niederlassungsbewilligung. Im Rahmen der darauffolgenden Abklärungen stellte sich heraus, dass X._ bereits am 10. Januar 2001 Y._ geheiratet und gemeinsam mit ihr - teilweise noch während seiner Ehe mit Z._ - im Kosovo vier Kinder gezeugt hatte (geb. 1992, 1996, 1998 und 2000). Aufgrund dieser Informationen erachtete es das Ausländeramt des Kantons St. Gallen als erstellt, dass X._ den Behörden Tatsachen verschwiegen habe, welche für den Entscheid über Erteilung und Verlängerung der Aufenthaltsbewilligung wesentlich gewesen wären, und dass die Ehe von X._ mit Z._ als Scheinehe zu bezeichnen sei. Am 19. November 2008 verfügte das Ausländeramt deshalb die Nichtverlängerung der Aufenthaltsbewilligung von X._ und lehnte dessen Gesuch um Erteilung der Niederlassungsbewilligung ab. B. Ein von X._ gegen diese Verfügung eingereichter Rekurs an das Sicherheits- und Justizdepartement des Kantons St. Gallen blieb erfolglos. Daraufhin beschwerte sich X._ beim Verwaltungsgericht des Kantons St. Gallen. Dieses wies die Beschwerde mit Urteil vom 17. Dezember 2009 ab. C. Mit Eingabe vom 1. Februar 2010 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des vorinstanzlichen Entscheids und die Erteilung der Niederlassungsbewilligung. Eventualiter sei seine Aufenthaltsbewilligung zu verlängern. Subeventualiter sei die Angelegenheit zur Sachverhaltsergänzung bzw. zur Abnahme weiterer Beweise an die Vorinstanz zurückzuweisen. Das Verwaltungsgericht und das Sicherheits- und Justizdepartement des Kantons St. Gallen sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. 