Faits: A. Par décision du 14 novembre 2001 (confirmée par jugement du Tribunal cantonal valaisan des assurances du 2 septembre 2002), l'Office cantonal AI du Valais (ci-après: l'office AI) a rejeté la demande de prestations de l'assurance-invalidité présentée le 29 mars 1995 par M._ Invoquant une aggravation de son état de santé, celui-ci a déposé une nouvelle demande de prestations, le 14 novembre 2002, en demandant une rente à partir de juillet 2001. Entre autres mesures d'instruction, l'office AI a confié une expertise pluridisciplinaire au Centre d'observation médicale de l'assurance-invalidité (COMAI). Après des recours successifs jusqu'au Tribunal fédéral (arrêt I 199/04 du 10 février 2006), l'expertise a finalement été réalisée par les docteurs O._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, et A._, spécialiste en psychiatrie et psychothérapie, de la Clinique X._. Ces médecins ont examiné l'assuré le 2 avril 2007 et rendu leur rapport le 19 septembre suivant. Ils ont diagnostiqué des lombalgies chroniques sur maladie discale dégénérative très évoluée au niveau de L5-S1 et d'hypoesthésie dans le territoire distal du dermatome S1 et baisse de la force musculaire à M4 de la même racine, mais n'ont retenu aucun diagnostic psychiatrique. Précisant les limitations présentées par l'assuré sur le plan somatique, les experts ont conclu à une incapacité de travail totale dans les anciennes activités de préparateur et négociant, respectivement d'agriculteur; dans une profession respectant les limitations décrites, la diminution du rendement était d'environ 40 %. Entre-temps, le psychiatre traitant de l'intéressé, le docteur B._, a fait état, dans un avis du 24 août 2007, d'un épisode dépressif moyen et attesté d'une incapacité entière de travail dans toute activité. Ayant pris connaissance de cette appréciation, le docteur A._ a indiqué à l'office AI qu'il devait revoir l'assuré pour se prononcer sur l'aggravation annoncée par son confrère, si cela était requis. Aussi, un complément d'expertise a-t-il été mis en oeuvre et les docteurs A._ et O._, ainsi que le psychologue et neuropsychologue V._, ont rendu leurs conclusions le 7 février 2008. Diagnostiquant (avec répercussion sur la capacité de travail) un trouble de l'humeur persistant non spécifique, les experts ont indiqué que compte tenu de l'ensemble des limitations, psychiques et physiques, la capacité de travail ne dépassait pas un taux de 40 %, soit 4 heures par jour, avec une diminution de rendement supplémentaire de 10 %; en cas d'amélioration des troubles psychiques, mais avec persistance des douleurs, la capacité de travail pouvait être augmentée à 50 %, horaire et rendement confondus. L'office AI a soumis le dossier à son Service médical régional (SMR), où les docteurs H._, E._ et I._ ont expliqué que les conclusions de l'expertise complémentaire ne pouvaient être suivies (rapports des 20 et 28 février 2008). Fort de cette appréciation, l'office AI a mis M._ au bénéfice d'une rente entière d'invalidité, fondée sur un taux d'invalidité de 100 %, du 1er juillet 2002 au 31 juillet 2005, puis d'une demi-rente fondée sur un taux d'invalidité de 51 % dès le 1er août 2005 (décision du 2 septembre 2008). B. L'assuré a déféré cette décision au Tribunal cantonal, Cour des assurances sociales, du canton du Valais, qui l'a débouté par jugement du 22 février 2010. C. M._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi d'une rente entière d'invalidité à partir du 5 août 2005. A titre subsidiaire, il demande le renvoi de la cause à l'office AI pour que soit mise en oeuvre une "nouvelle expertise indépendante". L'office AI et l'Office fédéral des assurances sociales ont renoncé à se déterminer sur le recours. 