Faits: Faits: A. S._, née en 1933, est au bénéfice de prestations complémentaires depuis 1991. Par décision sur opposition du 14 mai 2003, la Caisse de compensation du canton du Jura (ci-après : la caisse) lui a réclamé 13'224 fr. au titre de prestations complémentaires perçues indûment pour la période du 1er septembre 1999 au 30 avril 2003. Simultanément, elle a refusé de lui accorder la remise de l'obligation de restituer ces prestations ou de déclarer le montant en cause irrécouvrable, étant donné que la fortune immobilière de l'assurée s'élevait à 124'400 fr. et son épargne à 2'551 fr. A. S._, née en 1933, est au bénéfice de prestations complémentaires depuis 1991. Par décision sur opposition du 14 mai 2003, la Caisse de compensation du canton du Jura (ci-après : la caisse) lui a réclamé 13'224 fr. au titre de prestations complémentaires perçues indûment pour la période du 1er septembre 1999 au 30 avril 2003. Simultanément, elle a refusé de lui accorder la remise de l'obligation de restituer ces prestations ou de déclarer le montant en cause irrécouvrable, étant donné que la fortune immobilière de l'assurée s'élevait à 124'400 fr. et son épargne à 2'551 fr. B. Saisi d'un recours de S._ contre cette décision, le Tribunal cantonal de la République et canton du Jura l'a rejeté par jugement du 5 décembre 2003. B. Saisi d'un recours de S._ contre cette décision, le Tribunal cantonal de la République et canton du Jura l'a rejeté par jugement du 5 décembre 2003. C. S._ interjette recours de droit administratif contre ce jugement, dont elle demande l'annulation, en concluant à ce qu'il lui soit fait remise de l'obligation de restituer le montant de 13'224 fr. réclamé par la caisse. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 