Как написать программу, которая будет считать количество поворотов энкодера от мыши на ардуино?
https://alexgyver.ru/encoder/
Но тебе нужно выяснить, как именно твой энкодер подключается.
"энкодер от мыши" может подключаться по разному, в зависимости от модели мыши. Как именно - ты можешь узнать опытным путём или загуглив даташит по маркировке энкодера, если эта маркировка есть.

Если хочешь велосипедить - посмотри как обрабатываются прерывания.
https://habr.com/ru/post/340448/
Мышиный оптический энкодер это светодиод и фотодиод. 
По схемотехнике это https://ru.wikipedia.org/wiki/%D0%9E%D0%BF%D0%B5%D...
на выводе фотодиода и логика когда выдавать низкий и высокий уровень.