Как запретить обратную анимацию при снятии мышки с элемента?
Да, без @keyframes не обойтись. 
При отводе мыши сначала доводим rotateY до 360 (чтобы анимация продолжалась вправо), а затем очень быстро сбрасываем с 360 до 0 - так карточка незаметно перейдёт в первоначальное состояние.

UPD спустя 3 месяца :) Набрёл на этот вопрос и решил "победить" проблему: https://codepen.io/tsymbal_su/pen/vYrqLJP - как и писал ранее, нужно использовать @keyframes с очень быстрой сменой финального состояния на дефолтное
@keyframes в помощь. 
на MDN