Может ли маска подсети чередовать 0 и 1?
По стандарту не может.
Разве что кто-то где-то реализовал сетевой стек не по стандарту.

11111111.11111111.11111000.00000000 в другой нотации записывают /21 (т.е. 21 единичных битов), а 11111011.11110011.11111111.00000000 невозможно так записать

Upd.
RFC 917, RFC 950, RFC 1219, RFC 1878, RFC 4632
Дырявые маски давно были разрешены в FreeBSD, что приводило к различным сложностям и приколам.
Сейчас дырявые маски запрещены.