На чем и как пишутся протоколы?
На бумаге.
Протокол - это описание.
Может быть написано простыми человеческими словами, таблицами и картинками дополнительно оформлено.
Для конкретных реализаций иногда используют специальные языки - см. язык описания протоколов в protobuf.