Sachverhalt: A. Der 1970 geborene P._ meldete sich im Juli 2004 bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Durchführung des Vorbescheidverfahrens sprach ihm die IV-Stelle des Kantons Zürich eine ganze Invalidenrente (bei einem Invaliditätsgrad von 100 %) vom 11. April 2004 bis 30. Juni 2006 (Verfügung vom 22. Oktober 2008) und eine Viertelsrente (bei einem Invaliditätsgrad von 43 %) ab 1. Juli 2006 (Verfügungen vom 22. Oktober und 4. September 2008) zu. B. Gegen die beiden den Rentenanspruch ab 1. Juli 2006 betreffenden Verfügungen erhob P._ Beschwerden. Nach Vereinigung der Verfahren hiess das Sozialversicherungsgericht des Kantons Zürich die Rechtsmittel mit Entscheid vom 31. Mai 2010 gut und stellte einen Anspruch des Versicherten auf eine halbe Invalidenrente ab 1. Juli 2006 fest. C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des Entscheids vom 31. Mai 2010 eine Dreiviertelsrente beantragen. Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 