Faits: A. C._, né en 1965, a travaillé comme maçon au sein de l'entreprise X._ Sàrl depuis son arrivée en Suisse en 1995. En raison des séquelles d'une chute sur le coude en 1998, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: office AI) lui a octroyé, par décision du 21 août 2002, une rente entière d'invalidité du 1er octobre 1999 au 30 juin 2001. Le 24 novembre 2002, C._ a été victime d'un accident de la circulation entraînant un choc cervical et une contusion cervicale. Après une période d'incapacité de travail, il a recommencé à travailler auprès de son ancien employeur. L'office AI a alors recueilli divers avis médicaux et diligenté une expertise psychiatrique. Par décision du 7 juillet 2009, il a refusé de lui reconnaître le droit à une rente, le taux d'invalidité s'élevant à 30 %. B. L'assuré a déféré cette décision à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud. Par jugement du 15 juin 2010, la juridiction cantonale a partiellement admis le recours, en ce sens qu'elle a reconnu à l'intéressé le droit à un quart de rente d'invalidité pour la période du 1er janvier 2003 au 31 mars 2003 et à une rente entière d'invalidité pour la période du 1er avril 2003 au 31 mars 2004, la cause étant renvoyée à l'office AI pour qu'il fixe le montant des rentes précitées et la décision du 7 juillet 2009 confirmée pour le surplus. C. C._ interjette un recours en matière de droit public contre ce jugement. Il conclut, sous suite de dépens, principalement à sa réforme, en ce sens que lui soit reconnu le droit à une rente entière d'invalidité dès le 1er janvier 2003. Il demande subsidiairement le renvoi du dossier à la Cour des assurances sociales du Tribunal cantonal vaudois pour complément d'instruction et nouveau jugement, et plus subsidiairement encore le renvoi du dossier à l'office AI pour complément d'instruction et nouvelle décision. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures. 