Faits : A. A._ est au bénéfice de prestations complémentaires depuis le 1er février 2009. Il a rempli un formulaire du 5 mai 2011 relatif à la réduction des primes d'assurance-maladie en ce qui concerne l'année 2012 (pour les bénéficiaires de prestations complémentaires), en indiquant qu'il était assuré auprès de la KPT/CPT, Caisse-maladie SA (ci-après: la CPT), dont il a produit une police d'assurance relative aux primes LAMal valable dès le 1er janvier 2011. La Caisse de compensation du canton de Fribourg (ci-après: la caisse de compensation), par décision du 9 janvier 2012, l'a informé qu'un montant forfaitaire pour l'assurance-maladie de 4'584 fr. lui était accordé en ce qui concerne la période du 1er janvier au 31 décembre 2012 et qu'il était versé directement à la CPT, qui se chargerait d'en créditer l'ayant droit. Par lettre du 20 janvier 2012, A._ a déclaré qu'il prenait acte de cette décision. Il avisait la caisse de compensation qu'il avait changé d'assureur et était assuré auprès de la caisse-maladie Assura depuis le 1er janvier 2012. Par décision sur réclamation du 23 février 2012, la caisse de compensation a maintenu sa décision du 9 janvier 2012. Elle informait A._ que le changement de caisse dans l'assurance de base au 1 er janvier 2012 n'avait pas pu être effectué en raison du contentieux encore ouvert au 31 décembre 2011 auprès de la CPT, à laquelle le versement direct du montant forfaitaire pour l'assurance-maladie en 2012 était ainsi confirmé. B. Dans une écriture du 2 mars 2012, A._ a contesté la décision sur réclamation auprès de la caisse de compensation. Transmise au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, comme objet de sa compétence, cette écriture a été complétée par A._. La caisse de compensation a conclu au rejet du recours et à la confirmation de la décision sur réclamation du 23 février 2012. Les parties ont pu déposer leurs observations. Par arrêt du 4 décembre 2013, la juridiction cantonale a prononcé que le recours était rejeté, dans la mesure où il était recevable. Partant, la décision sur réclamation du 23 février 2012 était confirmée (ch. I du dispositif). C. Par lettre du 17 janvier 2014 (timbre postal), A._ interjette un recours contre ce jugement devant le Tribunal fédéral, en produisant plusieurs pièces. Le Tribunal fédéral, par lettre du 21 janvier 2014, a informé A._ du fait que le recours ne semblait pas remplir les exigences de forme posées par la loi (nécessité de formuler des conclusions et une motivation), et que seule une rectification dans le délai de recours était possible. A._ a déposé le 24 janvier 2014 (timbre postal) une écriture à la suite de cet avertissement, accompagnée de plusieurs pièces, et le 24 février 2014 (timbre postal) une nouvelle écriture, à laquelle était jointe une nouvelle pièce. 