Sachverhalt: A. A.a Der 1979 geborene R._ arbeitete ab August 2000 als ungelernter Bauarbeiter bei der M._ AG. Er meldete sich am 30. April 2004 wegen Hüftbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Er litt unter einer Frühcoxarthrose bei femoroacetabulärem Impingement links, weshalb an der orthopädischen Klinik X._ eine chirurgische Hüftgelenksluxation durchgeführt wurde. Die Sozialversicherungsanstalt des Kantons Zürich (IV-Stelle) klärte die medizinischen und erwerblichen Verhältnisse ab und verneinte das Leistungsbegehren mit Verfügung vom 19. November 2004. Diese blieb unangefochten. Ab 1. Januar 2005 arbeitete der Versicherte als Hauswart. A.b Am 23. November 2007 meldete sich R._ erneut bei der Invalidenversicherung an und machte eine Verschlechterung seines Gesundheitszustandes geltend. Die IV-Stelle holte einen Arbeitgeberbericht und Zeugnisse der behandelnden Ärzte ein und liess den Versicherten im ärztlichen Zentrum Y._ bidisziplinär orthopädisch/psychiatrisch begutachten (Expertise vom 11. Januar 2010). Mit Verfügung vom 1. Oktober 2010 lehnte sie einen Leistungsanspruch erneut ab. B. Mittels Beschwerde beantragte R._ ab Juli 2008 eine Invalidenrente basierend auf einem Invaliditätsgrad von mindestens 50 %. Das Sozialversicherungsgericht des Kantons Zürich hiess die Beschwerde in dem Sinne teilweise gut, als es feststellte, der Versicherte habe ab 1. November 2008 Anspruch auf eine halbe Invalidenrente (Entscheid vom 26. Januar 2012). C. R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheides sei die Sache betreffend Beginn des Rentenanspruchs zur Neubeurteilung an die Vorinstanz, eventuell an die IV-Stelle zurückzuweisen. Subeventuell sei der Beginn des Anspruchs auf eine halbe Invalidenrente auf den 1. Juli 2008 anzusetzen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung. 