Sachverhalt: A. Der aus Bangladesch stammende X._ (geb. 1977) hält sich seinen Angaben zufolge seit dem Frühling 1998 in der Schweiz auf. Nach einem erfolglosen Asylverfahren erhielt er am 23. März 1999 infolge Heirat mit der Schweizerin Y._ (geb. 1960) eine jährlich, letztmals bis zum 22. März 2005 erneuerte Aufenthaltsbewilligung für den Kanton Zürich. Ein von X._ im Februar 2004 gestelltes Gesuch um Erteilung einer Niederlassungsbewilligung wurde am 2. April 2004 abgewiesen mit der Begründung, er habe zu Klagen Anlass gegeben. Dabei wurde auf eine im Strafregister eingetragene Verurteilung zu sechs Monaten Gefängnis verwiesen, die das Bezirksgericht Zürich am 25. Februar 2003 ausgesprochen hatte. Die Verfügung vom 2. April 2004 blieb unangefochten. B. Mit Entscheid vom 10. Oktober 2005 verweigerte das Migrationsamt des Kantons Zürich X._ die Bewilligung des weiteren Aufenthalts und forderte ihn zum Verlassen des Kantonsgebiets auf. Zur Begründung führte das Migrationsamt vor allem an, die eheliche Wohngemeinschaft sei bereits im Juli 1999 aufgegeben worden. X._ berufe sich in rechtsmissbräuchlicher Weise auf eine nur noch formell bestehende Ehe. Die von X._ dagegen erhobenen Rechtsmittel wiesen der Regierungsrat und anschliessend das Verwaltungsgericht des Kantons Zürich ab, soweit sie darauf eintraten. C. X._ beantragt mit Beschwerde vom 29. Mai 2008, den in dieser Sache zuletzt ergangenen Entscheid des Verwaltungsgerichts vom 16. April 2008 aufzuheben und das kantonale Migrationsamt anzuweisen, ihm eine Niederlassungsbewilligung zu erteilen oder eventualiter die Aufenthaltsbewilligung zu erneuern. D. Das Bundesgericht hat die kantonalen Akten beigezogen. Das Migrationsamt, der Regierungsrat sowie das Verwaltungsgericht des Kantons Zürich haben sich nicht vernehmen lassen. E. Mit Verfügung vom 3. Juni 2008 hat das präsidierende Mitglied der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt. 