Где найти такой эффект?
Довольно просто, типа так. Только естественно нужен соответствующий плеер без рамок и т.п., а не плеер youtube. При  наведении запускаешь видео, при выходе за границы - стоп. Ну и при наведении анимация увеличения. В какой-то момент момент точка невозврата, тоесть даже при выходе за границы видео не возвращает, а идет анимация увелечения до размеров окна и плавное убирание border-radius чтобы были квадратные рамки
Суть в том, что слой видео внутри кнопки, и оно там под ней проигрывается постоянно, как я понял, только без звука. Изначально у кнопки ширина 110x110px и красный бэкграунд, при наведении бэкграунд уходит и ей задаются размеры 2300x2300 сtransition:width 6s cubic-bezier(.55,.055,.675,.19),height 6s cubic-bezier(.55,.055,.675,.19)
В общем, в течении 6 секунд ширина и высота равномерно расширяются. Структура там сложная, ковыряться точнее уже поздно, сделал вам простейший пример на css.