As a kanji character '后' (ko) is used for any of the above three titles in particular, many tend to regard it as a title for women, especially a lady of the Imperial Family.
とりわけ、后の字があてられていることから、女性とりわけ皇族の夫人の称号ととらえられがちである。