Sachverhalt: A. Der 1958 geborene G._ arbeitete vom 26. April 1999 bis 14. Dezember 2006 bei der Firma R._ AG, Bauunternehmung, als Maurer. Am 14. September 2007 meldete er sich bei der Invalidenversicherung an. Am 8. November 2007 erlitt er mit dem Auto einen Auffahrunfall, in dessen Folge ein Distorsionstrauma der Halswirbelsäule diagnostiziert wurde. Die IV-Stelle des Kantons Zürich holte diverse Arztberichte und ein Gutachten des Instituts Y._ vom 8. Mai 2008 ein. Mit Verfügung vom 11. November 2009 sprach sie dem Versicherten ab 1. Dezember 2007 bis 30. April 2008 eine ganze Invalidenrente (Invaliditätsgrad 100 %) zu. B. Hiegegen reichte der Versicherte beim Sozialversicherungsgericht des Kantons Zürich Beschwerde ein. Am 31. März 2010 fand eine Referentenaudienz statt, in welcher der Versicherte auf eine mögliche reformatio in peius aufmerksam gemacht und ihm Frist zur Stellungnahme bzw. zum Beschwerderückzug eingeräumt wurde. Am 12. Mai 2010 hielt er an der Beschwerde fest. Das kantonale Gericht wies die Beschwerde ab, hob die IV-Verfügung auf und verneinte einen Rentenanspruch (Entscheid vom 23. September 2010). C. Mit Beschwerde beantragt der Versicherte die Aufhebung des kantonalen Entscheides und die Zusprechung einer ganzen Invalidenrente ab 1. Dezember 2007; eventuell sei die Sache für weitere medizinische Abklärungen zurückzuweisen. Die IV-Stelle schliesst auf Beschwerdeabweisung. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 