Faits: Faits: A. Le 8 mai 2002, L._ a déposé une demande de prestations de l'assurance-invalidité, que l'Office de l'assurance-invalidité pour le canton de Vaud a rejetée par décision du 17 mai 2004 et décision sur opposition du 24 mars 2005. La décision sur opposition a été notifiée à l'assurée le 30 mars 2005. A. Le 8 mai 2002, L._ a déposé une demande de prestations de l'assurance-invalidité, que l'Office de l'assurance-invalidité pour le canton de Vaud a rejetée par décision du 17 mai 2004 et décision sur opposition du 24 mars 2005. La décision sur opposition a été notifiée à l'assurée le 30 mars 2005. B. L._, représentée par Me Mihaela Amoos, a déféré la cause au Tribunal des assurances du canton de Vaud, par acte du 4 mai 2005. L'Office AI a conclu a l'irrecevabilité du recours, pour cause de tardiveté. Par jugement incident du 24 février 2006, le Tribunal des assurances du canton de Vaud a déclaré le recours recevable. B. L._, représentée par Me Mihaela Amoos, a déféré la cause au Tribunal des assurances du canton de Vaud, par acte du 4 mai 2005. L'Office AI a conclu a l'irrecevabilité du recours, pour cause de tardiveté. Par jugement incident du 24 février 2006, le Tribunal des assurances du canton de Vaud a déclaré le recours recevable. C. L'Office AI interjette un recours de droit administratif contre ce jugement. En substance, il en demande la réforme, en ce sens que le recours de l'assurée en instance cantonale soit déclaré irrecevable. L'intimée conclut au rejet du recours, alors que l'Office fédéral des assurances sociales a renoncé à se déterminer. 