Sachverhalt: A. A.a X._ (geb. 1987, kosovarischer Staatsangehöriger) heiratete am 1. Februar 2008 im Kosovo seine seit 1996 in der Schweiz niedergelassene Landsfrau Y._ (geb. 1988). Im Rahmen des Familiennachzuges zu seiner Ehefrau reiste X._ am 14. Mai 2008 in die Schweiz ein und erhielt eine einjährige Aufenthaltsbewilligung. Am 7. November 2009 kam der gemeinsame Sohn Z._ zur Welt, welcher wie seine Mutter die Niederlassungsbewilligung erhielt. In der Zeit vom 12. Januar 2009 bis zum 18. August 2009 erfolgten gegen X._ rund 20 Bussenverfügungen wegen Verletzungen diverser Vorschriften (u.a. des SVG [SR 741.01], des Transportgesetzes vom 4. Oktober 1985 [aTG; AS 1986 1974] sowie über strafbare Handlung gegen das Vermögen nach StGB [SR 311.0]). A.b Am 9. Oktober 2009 zeigte das Ausländeramt (heute: Migrationsamt) des Kantons St. Gallen X._ die Absicht an, sein Gesuch vom 8. Juni 2009 um Verlängerung der Aufenthaltsbewilligung abzulehnen. Zu diesem Schluss sei es aufgrund der bis dahin ergangenen Strafurteile, der offenen Betreibungen im Umfang von Fr. 8'844.85, einem Schuldsaldo aus sozialhilferechtlicher Unterstützung von Fr. 3'745.95 sowie der zu seinen Ungunsten ausfallenden Interessenabwägung gekommen. Nach Stellungnahme durch X._ gewährte das Ausländeramt diesem am 27. Oktober 2009 eine sechsmonatige, als "letzte Chance" bezeichnete Frist zur Begleichung der Geldstrafen sowie der Bussen und Kosten der Strafverfolgungsbehörden, zur Erfüllung sämtlicher Betreibungsforderungen und um die Sozialhilfeleistungen zurückzuzahlen oder zumindest das entsprechende Vorgehen zu vereinbaren. Zudem wurde die Erwartung geäussert, dass er sich inskünftig absolut klaglos verhalte. Am 23. Oktober 2009 und 27. November 2009 erfolgten gegen X._ drei weitere Bussenverfügungen. Am 7. März 2011 erfolgte sodann ein Strafbefehl wegen Vergehens (Einführen, Besitz und Tragen eines Teleskop-Schlagstockes) gegen das Waffengesetz (SR 514.54) zu einer unbedingten Geldstrafe von 20 Tagessätzen zu je Fr. 70.--. A.c Am 14. Juni 2010 verfügte das Ausländeramt des Kantons St. Gallen, die Aufenthaltsbewilligung von X._ werde nicht verlängert. Es stützte seinen Entscheid im Wesentlichen auf die bis dahin ergangenen, fremdenpolizeilich als schwerwiegend betrachteten 23 Bussenverfügungen sowie auf den innert der sechsmonatigen Frist auf Fr. 21'441.20 gestiegenen Saldo der Betreibungen. Den dagegen erhobenen Rekurs wies das Sicherheits- und Justizdepartement des Kantons St. Gallen ab. Das Verwaltungsgericht bestätigte diesen Entscheid. B. Mit Eingabe vom 31. Januar 2012 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 15. Dezember 2011 aufzuheben und das Migrationsamt anzuweisen, ihm die Aufenthaltsbewilligung zu erteilen, eventuell die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. C. Das Verwaltungsgericht sowie das Sicherheits- und Justizdepartement des Kantons St. Gallen und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. D. Mit Verfügung vom 2. Februar 2012 hat der Abteilungspräsident der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt. 