Что значит понимать устройство операционных систем?
Чем больше программист знает, тем лучше может делать свою работу. Знание принципов работы и особенностей реализации интерпретатора/компилятора/виртуальной машины позволит разрабатывать более эффективные программы, чем просто знание языка. Знание принципов работы и особенностей реализации операционной системы позволит разрабатывать ещё более эффективные программы. Знание железа - ещё более эффективные. Вам решать, на сколько крутым специалистом вы хотите стать.
Для примера знать про "Вытесняющую многозадачность", что любой поток может быть прерван в любое время и по этой причине в многопоточной программе нужно позаботиться о синхронизации данных. 
Знать как она реализована на уровне ОС при этом совсем не обязательно, но вот понимать, что такое есть в ОС необходимо.