Что нужно изучить чтобы сделать хотя бы простой java сервер?
Делать простой java сервер не надо.
Он уже есть tomcat или jetty.
Можно воспользоваться Spring-boot, но внутри у него все равно будет tomcat или jetty.
Насчет spring-boot. 
В нем много "магии".
Можно в ней не разбираться, в большинстве случаев она просто работает, но иногда нет.
Поэтому очень рекомендую понять как работает Spring Framework и Spring Boot.
Изучить нужно базовые библиотеки для работы с сокетами и данными, а также файловой системой. Для более продвинутого сервера стоит познакомиться с потоками, чтобы можно было делать параллельную обработку запросов.
Еще полезно прочитать про Http протокол и принцип работы сервера.
Вот пример сервера https://github.com/egor1996em/WebServer