Можно ли на сайте определить, что человек в наушниках?
Самый адекватный вариант - тупо спросите "можно воспроизвести звук?". Уверен что 99,9% пользователей не будут рады левым непрошенным звукам на сайте, через что бы они там не выводились...

А также отследить, что наушники подключены по bluetooth?

В теории как то можно получить инфу о подключённых bt-устройствах, если пользователь даст такой доступ для твоего сайта.

Но определить тип подключённого аудиоустройства в jack - нереально.

Вот например лично я постоянно перевтыкаю наушники и колонки.
Аудиокарта никак физически не может определить, что в неё вставили, ибо jack чисто аналоговый.
Только в настройках пользователь может руками указать, что он использует, но это особо ни на что не влияет