Как убрать вот эту вот штуку с видео?
Это вольность браузера, называется picture-in-picture, появляется для HTML5  элементов.

В FireFox например, можно убрать двумя способами:

когда появилась эта штука, правой кнопкой по ней и "Hide Picture-In-Picture Toggle"
залезть в Настройки браузера и там найти и выключить пункт "Enable picture-in-picture video controls"

Никак. "Эти штуки" - функционал добавленные браузером.
И они должны появляться на всех видео). Скорее что вы делаете что-то не так, если они не появляются. 
А не наоборот.