Sachverhalt: A. Der aus dem Kosovo stammende X._ (geb. 1956) reiste 1998 in die Schweiz ein und ersuchte um Asyl. Am 16. Juli 1999 heiratete er die Schweizer Bürgerin Y._ (geb. 1964), erhielt gestützt auf diese Eheschliessung die Aufenthaltsbewilligung und zog sein Asylgesuch zurück. Im Juli 2004 erhielt er die Niederlassungsbewilligung. Seine Ehe wurde am 15. März 2005 geschieden. B. Mit Urteil vom 19. November 2008 wurde X._ vom Kantonsgericht St. Gallen - zweitinstanzlich - "der mehrfachen sexuellen Handlungen mit Kindern und der mehrfachen Pornographie schuldig erklärt" (begangen 2004 zum Nachteil seiner damals zehn Jahre alten Stieftochter und deren Schulfreundin) und zu einer Freiheitsstrafe von 18 Monaten verurteilt, wobei ihm der bedingte Strafvollzug gewährt wurde. C. Mit Verfügung vom 6. November 2009 widerrief das Ausländeramt des Kantons St. Gallen (heute: Migrationsamt) die Niederlassungsbewilligung von X._ und wies ihn aus der Schweiz weg. Unmittelbarer Anlass für diese Massnahme bildete das letztgenannte Urteil des Kantonsgerichts. Im Weiteren stellte das Amt fest, X._ komme auch seinen finanziellen Verpflichtungen nicht nach, habe hier kein geregeltes familiäres Umfeld, aber nahe Verwandte im Heimatland. Es sei ihm deshalb zuzumuten, dorthin zurückzukehren. Ein gegen diese Verfügung gerichteter Rekurs beim Sicherheits- und Justizdepartement des Kantons St. Gallen blieb erfolglos, und mit Urteil vom 26. Januar 2011 wies das Verwaltungsgericht des Kantons St. Gallen die gegen den Departementsentscheid vom 9. August 2010 erhobene Beschwerde ebenfalls ab. D. Mit Eingabe vom 7. März 2011 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 26. Januar 2011 aufzuheben und festzustellen, dass die Voraussetzungen für den Widerruf der Niederlassungsbewilligung nicht erfüllt seien. Der Kanton St. Gallen sei anzuweisen, dem Beschwerdeführer die Niederlassungsbewilligung "zu verlängern" (recte: zu belassen); eventuell sei der Widerruf der Bewilligung anzudrohen. Das Sicherheits- und Justizdepartement des Kantons St. Gallen beantragt, die Beschwerde abzuweisen. Denselben Antrag stellen das Verwaltungsgericht des Kantons St. Gallen sowie das Bundesamt für Migration. 