Because the yukata has been the utmost casual wear from the beginning and it's regarded as impolite if one wears yukata to meet others, one can only wear a yukata to the most casual places.
元来が略装の最たるものであるから、浴衣で出かけられるのは気取らない場所にかぎり、この格好で人と会うのは失礼とされる。