Какой софт необходимо устанавливать вне docker контейнера?
Я считаю, что такие вопросы не стоит задавать - вы сами пишете "только начал изучать тему Docker контейнеров". Ведь сначала лучше почитать подробнее и последовательно ознакомиться с документацией на русском, причем пошаговой и разжеванной. 
Не будут же вам здесь переписывать тонну информации, тем более что на ваш вопрос нет однозначного ответа.
Начните, по ходу шагов начнете понимать концепцию, что как работает, а потом задавайте конкретные вопросы "делаю так, но результат не такой, как ожидалось" - вот тогда вопрос будет адекватным.
> что можно и нужно устанавливать в docker контейнер
Софт в нестандартной конфигурации и/или собранный с нестандартными опциями и/или имеющий версию, отличной от той, которая есть в репах дистра.
>  что нужно устанавливать именно в саму операционную систему напрямую без всяких контейнеров
Софт из репов дистра