Sachverhalt: A. Der aus Angola stammende X._, geb. 13. Juni 1972, reiste im Januar 1999 erstmals in die Schweiz ein, wo er erfolglos um Asyl ersuchte. Am 2. Dezember 1999 heiratete er eine deutsche Staatsangehörige und war nach seiner Wegweisung in Deutschland wohnhaft. Im Mai 2001 reiste er illegal in die Schweiz ein, nachdem ihm die deutschen Behörden die Ausschaffung angedroht hatten. Am 21. Mai 2001 wurde seine Ehe annulliert, weil er seiner Ehefrau die Existenz seines ausserehelichen Sohnes Z._, geb. 14. November 2000, verschwiegen hatte. Am 28. Januar 2003 wurde X._, nachdem er ein zweites Asylgesuch eingereicht hatte, aus der Schweiz weggewiesen. Im Januar 2003 anerkannte X._ die Vaterschaft über seinen Sohn Z._ und schloss mit dessen Mutter einen Unterhaltsvertrag ab. Mit Verfügung vom 17. Februar 2003 traten die Einwohnerdienste Basel-Stadt als Fremdenpolizeibehörde auf ein Gesuch von X._ um Erteilung einer Aufenthaltsbewilligung nicht ein, worauf er am 4. März 2003 nach Deutschland ausgeschafft wurde. B. Am 25. September 2003 heiratete X._ die Mutter seines Sohnes, die Schweizer Bürgerin Y._, worauf ihm am 12. März 2004 die Aufenthaltsbewilligung erteilt wurde. Nachdem sich die Ehegatten spätestens im November 2004 getrennt hatten, verfügte die Fremdenpolizeibehörde des Kantons Basel-Stadt am 25. Juli 2006 die Nichtverlängerung der Aufenthaltsbewilligung von X._. Ein dagegen erhobener Rekurs an das Sicherheitsdepartement des Kantons Basel-Stadt blieb erfolglos (Entscheid vom 21. Mai 2007). Mit Urteil vom 10. Dezember 2007 wies das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht einen ihm vom Regierungsrat zuständigkeitshalber überwiesenen Rekurs ab. C. Mit Eingabe vom 26. März 2008 erhebt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, der Entscheid des Appellationsgerichts vom 10. Dezember 2007 sei aufzuheben, die Aufenthaltsbewilligung zu verlängern und auf eine Wegweisung zu verzichten; eventualiter sei die Angelegenheit zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Das Sicherheitsdepartement und das Appellationsgericht des Kantons Basel-Stadt sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. D. Dem vom Beschwerdeführer gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung vom 31. März 2008 entsprochen. 