Faits: Faits: A. Le 5 avril 2000, C._, agriculteur indépendant, a présenté une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. Il alléguait souffrir de lombalgies chroniques. Après avoir recueilli divers renseignements économiques et médicaux, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a confié à la Clinique X._ la mise en oeuvre d'une expertise pluridisciplinaire. Par décision du 15 janvier 2003, confirmée sur opposition le 17 mars 2003, l'office AI a rejeté la demande de prestations, motif pris que l'assuré ne présentait pas d'atteinte à la santé susceptible de diminuer sa capacité de travail. Par décision du 15 janvier 2003, confirmée sur opposition le 17 mars 2003, l'office AI a rejeté la demande de prestations, motif pris que l'assuré ne présentait pas d'atteinte à la santé susceptible de diminuer sa capacité de travail. B. C._ a déféré la décision sur opposition au Tribunal des assurances du canton de Vaud, qui l'a débouté par jugement du 28 novembre 2003, notifié à l'assuré le 28 juillet 2004. B. C._ a déféré la décision sur opposition au Tribunal des assurances du canton de Vaud, qui l'a débouté par jugement du 28 novembre 2003, notifié à l'assuré le 28 juillet 2004. C. C._ interjette recours de droit administratif contre ce jugement, en concluant à l'octroi d'une demi-rente d'invalidité. A l'appui de son recours, il joint de nouveaux rapports médicaux. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 