Sachverhalt: A. M._ ist gelernter Autospengler, reiste 1985 von Kroatien in die Schweiz ein, verlor seine letzte Arbeitsstelle als Chauffeur bei anhaltender Arbeitsunfähigkeit per Ende Juli 1993 und meldete sich am 16. September 1994 wegen "seit geraumer Zeit" bestehender Beschwerden ("Magengeschwüre und Bandscheibe L4 und L5") bei der Invalidenversicherung zum Rentenbezug an. Nachdem die IV-Stelle des Kantons Zürich (nachfolgend: IV-Stelle oder Beschwerdegegnerin) mit Verfügung vom 7. Juli 1995 einen Rentenanspruch verneint hatte, liess der Versicherte durch seine Hausärztin Dr. med. R._ im April 1997 eine Verschlechterung seines Gesundheitszustandes geltend machen. Gestützt auf weitere Abklärungen und das Gutachten der Medizinischen Abklärungsstelle (MEDAS) vom 10. November 1998 (nachfolgend: MEDAS-Gutachten) sprach die IV-Stelle M._ mit Verfügung vom 19. Oktober 1999 bei einem Invaliditätsgrad von 50% mit Wirkung ab 1. April 1997 eine halbe Invalidenrente zu. Im Februar 2009 leitete die IV-Stelle von Amtes wegen ein Revisionsverfahren ein. Nach Einholung verschiedener Arztberichte und nachdem das Zentrum X._ die orthopädisch-psychiatrische Expertise vom 17. Juni 2010 (nachfolgend: Gutachten des Zentrums X._) erstattet hatte, ermittelte die IV-Stelle aufgrund geänderter gesundheitlicher Verhältnisse neu einen Invaliditätsgrad von 15%. Demzufolge hob sie die bis dahin ausgerichtete halbe Invalidenrente mit Verfügung vom 29. Dezember 2010 per 31. Januar 2011 auf. B. Die hiegegen erhobene Beschwerde des M._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 4. April 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ unter Aufhebung des angefochtenen Gerichtsentscheids und der Verfügung der IV-Stelle vom 29. Dezember 2010 die über den 31. Januar 2011 hinaus fortgesetzte Ausrichtung einer mindestens halben Invalidenrente beantragen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. 