Faits: Faits: A. M._ était au bénéfice de prestations complémentaires. A la suite du décès de la prénommée, survenu le 22 décembre 2003, la Caisse cantonale vaudoise de compensation AVS (ci-après : la caisse) a réclamé à L._, veuf de feue M._ et héritier unique de celle-ci, la restitution d'un montant de 1'523 fr. correspondant à la rente d'invalidité et les prestations complémentaires versées à tort pour le mois de janvier 2004 (décision du 8 janvier 2004). Saisie d'une demande de remise formée par L._, la caisse lui a demandé de fournir différents documents, dont les dernières déclarations d'impôts (courrier du 11 mars 2004). A cette occasion, l'administration a constaté que l'intéressé avait cessé son activité de technicien-dentiste indépendant et commencé à travailler comme représentant au service de X._ Gmbh dès le 1er août 2001 (cf. rapport de situation du 16 avril 2004). Sur la base des nouveaux éléments dont elle a eu connaissance, la caisse a, par décisions du 10 mai 2004, supprimé le droit de feue M._ à des prestations complémentaires pour la période du 1er août 2001 au 31 décembre 2003, et réclamé à la succession de la prénommée un montant de 24'379 fr. 15 représentant les prestations indûment perçues (22'892 fr.), ainsi que le remboursement de frais médicaux (1'487 fr. 15). Après avoir remboursé la somme de 1'523 fr., L._ s'est opposé à la décision en restitution et a demandé la remise des montants réclamés. Son opposition a été rejetée par décision du 20 août 2004, au motif que la prétention en remboursement des prestations indues était née à partir du 1er août 2001, soit du vivant de la bénéficiaire, et que son époux ne pouvait se prévaloir de la bonne foi en relation avec la remise de l'obligation de restituer. Après avoir remboursé la somme de 1'523 fr., L._ s'est opposé à la décision en restitution et a demandé la remise des montants réclamés. Son opposition a été rejetée par décision du 20 août 2004, au motif que la prétention en remboursement des prestations indues était née à partir du 1er août 2001, soit du vivant de la bénéficiaire, et que son époux ne pouvait se prévaloir de la bonne foi en relation avec la remise de l'obligation de restituer. B. Saisi d'un recours formé par l'intéressé contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 15 mars 2006. B. Saisi d'un recours formé par l'intéressé contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 15 mars 2006. C. L._ interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il demande que le tribunal constate qu'il n'est pas tenu à restitution. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à présenter des déterminations. 