Sachverhalt: A. A.a. Der 1964 geborene A._ war ab 1990 bis zur Auflösung seines letzten Arbeitsverhältnisses Ende 1999 auf dem Bau tätig. Am 23. Oktober 2000 meldete er sich unter Angabe von Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf ein Gutachten der MEDAS vom 14. August 2003 sprach ihm die IV-Stelle des Kantons Zürich mit Verfügung vom 3. März 2004 ab dem 1. April 2001 eine halbe Härtefallrente zu (Invaliditätsgrad von 42 %). Daran hielt sie mit Einspracheentscheid vom 24. November 2004 fest. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 25. Juli 2005 ab. A.b. Im Zuge einer im Februar 2006 eingeleiteten Rentenrevision liess die IV-Stelle A._ durch die Integrierte Psychiatrie B._ begutachten (Expertise vom 24. April 2007). Mit Verfügung vom 26. Juli 2007 sprach sie ihm basierend auf einem Invaliditätsgrad von 62 % ab 1. Juli 2007 eine Dreiviertelsrente zu. Anlässlich einer weiteren Revision bestätigte sie am 3. Februar 2009 den bisherigen Rentenanspruch. A.c. Im Juni 2012 ordnete die IV-Stelle eine bidisziplinäre Begutachtung durch Dr. med. C._, Facharzt für Rheumatologie und Innere Medizin, und Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie, an (Gutachten vom 18. Oktober 2012). Nach durchgeführtem Vorbescheidverfahren stellte sie die Rentenleistungen mit Verfügung vom 26. April 2013 ein (Invaliditätsgrad von 30 %). B. Die von A._ eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 11. Juli 2014 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen. Er beantragt, der kantonale Entscheid und die angefochtene Verfügung seien aufzuheben; es sei ihm weiterhin eine Dreiviertelsrente auszurichten; eventualiter sei die Streitsache zur Durchführung weiterer medizinischer Abklärungen an die Vorinstanz bzw. die Beschwerdegegnerin zurückzuweisen. Die IV-Stelle beantragt die Abweisung der Beschwerde. Die Vorinstanz und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 