Faits: Faits: A. A.a B._, né le 29 septembre 1937, est au bénéfice d'une pension de retraite viagère versée par la Caisse de pensions de l'Etat de Vaud (ci-après : la CPEV) depuis le 1er octobre 1999. A.b Dans un préavis du 23 juin 2004, le Conseil d'Etat du canton de Vaud a proposé de ne pas indexer en 2004 les rentes des pensionnés au vu de la situation financière découlant de l'exercice 2003 et du fonds de compensation négatif à cette même date. Dans un préavis du 29 juin 2004, l'Assemblée des délégués de la CPEV a proposé d'accorder aux pensionnés une allocation de renchérissement de 1.2 %, avec effet au 1er juillet 2004. Lors de sa séance du 6 juillet 2004, le Conseil d'administration de la CPEV a décidé de renoncer à accorder une nouvelle allocation de renchérissement pour l'année 2004. La CPEV a informé les intéressés de cette décision le 30 juillet 2004. Dans un préavis du 22 juin 2005, le Conseil d'Etat du canton de Vaud a proposé de ne pas indexer en 2005 les rentes des pensionnés au vu de la situation financière découlant de l'exercice 2004. Dans un préavis du 28 juin 2005, l'Assemblée des délégués de la CPEV s'est prononcée en faveur de l'octroi d'une allocation de renchérissement. Lors de sa séance du 5 juillet 2005, le Conseil d'administration de la CPEV a décidé de renoncer à accorder une nouvelle allocation de renchérissement pour l'année 2005. La CPEV a avisé les intéressés de cette décision le 29 juillet 2005. Dans un préavis du 22 juin 2005, le Conseil d'Etat du canton de Vaud a proposé de ne pas indexer en 2005 les rentes des pensionnés au vu de la situation financière découlant de l'exercice 2004. Dans un préavis du 28 juin 2005, l'Assemblée des délégués de la CPEV s'est prononcée en faveur de l'octroi d'une allocation de renchérissement. Lors de sa séance du 5 juillet 2005, le Conseil d'administration de la CPEV a décidé de renoncer à accorder une nouvelle allocation de renchérissement pour l'année 2005. La CPEV a avisé les intéressés de cette décision le 29 juillet 2005. B. Par acte du 31 août 2004, B._ a ouvert action devant le Tribunal des assurances du canton de Vaud contre la Caisse de pensions de l'Etat de Vaud, en prenant des conclusions tendant notamment à l'adaptation au renchérissement des rentes versées aux pensionnés de la CPEV, avec effet au 1er janvier 2004. Par acte du 3 septembre 2005, B._ a ouvert action devant le Tribunal des assurances du canton de Vaud contre la Caisse de pensions de l'Etat de Vaud, en prenant des conclusions tendant notamment à l'octroi d'une allocation de renchérissement pour 2005 aux pensionnés de la CPEV. Par jugement du 15 mars 2006, le Président du Tribunal des assurances, joignant les deux causes, a rejeté les demandes. Par jugement du 15 mars 2006, le Président du Tribunal des assurances, joignant les deux causes, a rejeté les demandes. C. Dans un mémoire du 26 avril 2006, B._ a interjeté un recours de droit administratif contre ce jugement, dont il demandait l'annulation, en prenant des conclusions tendant notamment à l'indexation au coût de la vie des rentes des pensionnés de la CPEV dès le 1er janvier 2004 et dès le 1er janvier 2005. Dans sa réponse du 14 juin 2006, la Caisse de pensions de l'Etat de Vaud a conclu, sous suite de dépens, au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. 