Установил SSL-сертификат, а теперь сомневаюсь, нужен ли он? Как заблокировать доступ к https?
> Мол если перевести трафик на HTTPS то сайт вылетит из топа гугла как пробка.
Бред-то какой. 
Если сертификат валиден и корректно настроен 301-й редирект http>https - то ничего никуда не вылетит. 
https://www.google.ru/search?q=debian+kvm&oq=debia...
https://www.google.ru/search?q=debian+php+5.2&oq=d...
https://www.google.ru/search?q=ssmtp&oq=ssmtp&sour... 
И так было всегда ) И до ssl, и после. 
Просадка какая-то возможна, но потом всё возвращается.
Весь мир стремится к защите своих персональных данных. 
Это тоже самое, если бы против стоматологических пломб говорили: "Если установите пломбу на зуб - однозначно заработаете кариес". Пардон, если не совсем уместное сравнение.
По поводу ранжирования вашего ресурса в топе Гугл можете не волноваться.