Sachverhalt: A. Der türkische Staatsangehörige X._ (geb. 16. Mai 1967) hielt sich erstmals von Mai 1990 bis Januar 1993 (Rückzug des Asylgesuchs) als Asylbewerber in der Schweiz auf. Am 22. April 2004 liess er sich in der Türkei von seiner türkischen Ehefrau scheiden, wobei die vier gemeinsamen Kinder (geb. 1988, 1990, 1995 bzw.1996) unter das Sorgerecht der Mutter gestellt wurden. Am 25. September 2004 reiste X._ illegal in die Schweiz ein und heiratete zwei Tage später die 19 Jahre ältere Schweizer Bürgerin Y._ (geb. 1948), die er im Jahr 1992 im Kanton Glarus kennen gelernt hatte. Gestützt auf die Heirat wurde X._ eine Aufenthaltsbewilligung erteilt (letztmals verlängert bis zum 26. September 2010). Die schweizerische Ehefrau sowie deren volljährige, im gemeinsamen Haushalt lebende Tochter bezogen bereits damals Leistungen der Invalidenversicherung. Am 5. Juli 2005 erwirkte X._ die gerichtliche Übertragung des Sorgerechts über seine vier Kinder in der Türkei und am 12. November 2005 ersuchte er für sie um Einreisebewilligung. Trotz Ablehnung der Einreisegesuche reisten seine zwei älteren Kinder im Juli 2007 illegal in die Schweiz ein, weshalb X._ in der Folge zu einer Geldstrafe verurteilt wurde. Mit dem illegalen Aufenthalt der Kinder in der Schweiz bzw. in der gemeinsamen Wohnung war die schweizerische Ehegattin nicht einverstanden. Im November 2007 bewilligte der Eheschutzrichter den Ehegatten das Getrenntleben. X._ teilte im September 2008 mit, dass im November 2007 einer der Ehegatten aus der gemeinsamen Wohnung ausgezogen sei, er seit Mai 2008 eine neue Adresse habe und zurzeit mit keiner Wiederaufnahme der ehelichen Gemeinschaft zu rechnen sei. Am 30. November 2008 zog seine Ehegattin zusammen mit ihrer Tochter nach A._/SO in das Haus ihrer verstorbenen Mutter. Am 15. Juni 2009 teilten die Ehegatten mit, sie seien wieder zusammen und suchten derzeit eine Wohnung in B._/ZH. Am 21. Juli 2009 bestätigten die Ehegatten die neue Adresse der Ehefrau in A._ und teilten mit, sie hätten die eheliche Gemeinschaft im November 2008 wieder aufgenommen; da der Ehemann in C._/ZH arbeite, wohne er immer noch in B._ und man suche eine Wohnung im Kanton Zürich. Im Verlängerungsgesuch vom 15. Juli 2010 gab X._ an, von der bei D._/SO wohnhaften Ehegattin getrennt zu leben. Mit Verfügung vom 29. September 2010 verweigerte das Migrationsamt des Kantons Zürich X._ die Verlängerung seiner Aufenthaltsbewilligung und setzte ihm Frist zum Verlassen der Schweiz bis zum 17. Dezember 2010. Es erwog, mangels erfolgreicher Integration bestehe auch nach Art. 50 Abs. 1 lit. a AuG kein Anspruch auf Bewilligungsverlängerung. B. Dagegen rekurrierte X._ am 4. November 2010 an die Sicherheitsdirektion des Kantons Zürich. Am 5. Juli 2011 zog er zu seiner Ehegattin in die von dieser zusammen mit ihrer Tochter in C._ an der ...strasse 4 gemietete Wohnung. Die Sicherheitsdirektion wies den Rekurs mit Entscheid vom 12. Dezember 2011 ab. Die dagegen von X._ beim Verwaltungsgericht des Kantons Zürich erhobene Beschwerde blieb ohne Erfolg. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten eventualiter subsidiärer Verfassungsbeschwerde vom 30. Mai 2012 beantragt X._, das Urteil des Verwaltungsgerichts vom 24. April 2012 und die Verfügung des Migrationsamtes vom 29. September 2010 aufzuheben und die Vorinstanz anzuweisen, ihm die Aufenthaltsbewilligung zu verlängern. Zudem stellt er die Begehren, der Beschwerde aufschiebende Wirkung zuzuerkennen und ihm die unentgeltliche Rechtspflege und Verbeiständung zu gewähren. Die Sicherheitsdirektion des Kantons Zürich beantragt, die Beschwerde abzuweisen. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Das Migrationsamt des Kantons Zürich sowie das Bundesamt für Migration liessen sich nicht vernehmen. D. Mit Verfügung vom 5. Juni 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde hinsichtlich der mit dem angefochtenen Urteil verbundenen Ausreiseverpflichtung aufschiebende Wirkung zuerkannt. 