В чем именно проблема с ЖД?
SMART всегда возвращает физическое состояние диска. Фактически состояние SMART хранится на контроллере диска, так что ПО тут значения не имеет.
У вас начались переназначения секторов. Это происходит, когда какие-то сектора на диске выходят из строя, в этом случае доступ к ним блокируется контроллером и вместо них назначаются другие (резервные) сектора. Резервных секторов ограниченное количество. 
Пока что у вас только 3 переназначения (VALUE), предельное количество переназначений 36 (THRESH). Когда количество переназначений достигнет этого числа, то переназначать уже будет нечего, тогда контроллер диска будет возвращать ошибки чтения в ОС.
Еще какое-то время диск может пожить. Но не известно как быстро он исчерпает все переназначения.
Так что лучше слить с него все что можно и заменить.

Задержки могут быть вызваны переназначением секторов, т.к. прежде чем пометить сектор сбойным, контроллер пытается несколько раз его прочитать - вдруг получится. Поэтому задержки очень вероятны. Видимо диск у вас сыпется, но большая часть секторов еще кое-как читается (возможно не с первой попытки), т.к. переназначений еще мало. Но переназначения рано или поздно пойдут лавиной, тогда с диском уже ничего нельзя будет сделать.
Ещё может быть вариант что тормоза начинаются при чтении со своп файла/раздела, часто встречал данный эффект, даже при подключенном m2 ssd при чтении со свопа система жутко тормозит
Попробуй закрыть все приложения которые сильно потребляют оперативку, и запустить команду swapoff -a, это отключит подкачку, дальше включаем её обратно swapon -a, если до того как swp в htop пустое тормозов нету, скорее всего придётся ковыряться с настройками swap