Странный дизайн Rust?
Rust это не C++. Почему он должен брать термины из C++?
В Java вон тоже ссылки - это указатели в терминологии C++.
Более того, ссылка от указателя отличается лишь абстракцией. В памяти это будут одинаковые ячейки, содержащие адрес.
Во первых, почему указатели в Rust называются ссылками?
Потому что в Rust есть свои типа умные ссылки, которые проверяются борроу-чекером - &T и &mut T.
А есть сырые указатели, которые *const T и *mut T;

Разница в том, что первые проверяются борроу-чекером, а вторые - нет.
Первые можно безопасно разыменовать и обращаться к данным, а вторые - нет.

Вот как это вместить - после плюсов вызывает неприязнь.

Просто забыть привычки от C++ и плюсовую терминологию, и использовать новую.
У вас же при изучении нового человеческого языка не возникает проблем от того что какой-нибудь кот называется кэт-ом?