Обязательно ли знать after effects для ux ui дизайнера?
Знание After Effects будет плюсом, но не обязательно. 

> как показать, как должна реагировать конопка при наведении или какая должна быть анимация меню?
это можно сделать в Фигме на вкладке Prototype
Вообще необязательно.
Скорее фигму обязательно )