Sachverhalt: A. Der mazedonische Staatsangehörige X._ (geb. 1984) reiste am 26. April 2007 im Rahmen eines im Jahr 1999 beantragten Familiennachzuges in die Schweiz ein. Am 18. Juni 2007 erhielt er die Niederlassungsbewilligung für den Kanton Zürich. Am 6. August 2009 heiratete er seine Landsfrau Xa._ (geb. 1984) in Mazedonien, worauf er am 31. August 2009 ein Familiennachzugsgesuch für die Ehefrau und die gemeinsamen Söhne Xb._ (geb. 2001) und Xc._ (geb. 2004) stellte. Am 21. Dezember 2009 reisten diese in die Schweiz ein. B. Mit Verfügung vom 19. März 2010 widerrief das Migrationsamt des Kantons Zürich die Niederlassungsbewilligung von X._ und lehnte gleichzeitig das Familiennachzugsgesuch für Xa._, Xb._ und Xc._ ab. Zudem wurde den Beteiligten Frist zum Verlassen der Schweiz gesetzt. Das Migrationsamt warf X._ vor, im Verfahren für seine Niederlassungsbewilligung in pflichtwidriger Weise die Existenz der nunmehr nachzuziehenden Söhne sowie der eheähnlichen Beziehung zu deren Mutter verschwiegen zu haben. Die gegen den Entscheid des Migrationsamtes des Kantons Zürich erhobenen Rechtsmittel an den Regierungsrat sowie das Verwaltungsgericht des Kantons Zürich blieben erfolglos. Im Verlauf des kantonalen Beschwerdeverfahrens liessen sich X._ und Xa._ scheiden, wobei das elterliche Sorgerecht für die beiden Kinder gemäss dem mazedonischen Scheidungsurteil vom 28. September 2010 dem Vater zugeteilt wurde. C. X._ beantragt dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten bzw. mit subsidiärer Verfassungsbeschwerde vom 16. Mai 2011, der Entscheid des Verwaltungsgerichts des Kantons Zürich vom 16. März 2011 sei aufzuheben und es sei die Niederlassungsbewilligung nicht zu widerrufen. Das Verwaltungsgericht des Kantons Zürich beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Sicherheitsdirektion sowie der Regierungsrat des Kantons Zürich liessen sich nicht vernehmen. Die Vernehmlassung des Bundesamts für Migration wurde erst nach Fristablauf der Schweizerischen Post aufgegeben. D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 23. Mai 2011 antragsgemäss die aufschiebende Wirkung zuerkannt. E. Die II. öffentlich-rechtliche Abteilung des Bundesgerichts hat die Angelegenheit am 2. Dezember 2011 an einer öffentlichen Sitzung beraten. 