Стоит ли тратить время на Java gui, если цель — разработка под Android?
Если цель разработка под Андроид, то надо начинать с изучения Андроида. У серверной/десктопной Java мало общего. В Андроиде важен не язык, а архитектура всей системы. Очень важно в ней разобраться и понимать её. 
Одного языка знать мало. Скажу так. Язык - это 5% Андроида, всё остальное - архитектура. Поэтому, Котлин или Java, это совершенно не важно, это мелочи.
Вот только принципы работы у всех библиотек графического интерфейса общие, а разбираться в первый раз проще с десктопным вариантом.