Стоит ли начинать изучения Swift без знаний Objective-c ?
Нет, не стоит, в реальной разработке (даже новых приложений "только на Swift с нуля") все равно придется столкнуться с взаимодействием с Objective-C кодом (Cocoa, 3rd-party библиотеки, которые сами себя на Swift не перепишут).
Если работать на себя, то да. Если есть конкретная вакансия для Swift, то да. Если проекты Аппы на месяц разработки, то всё ок.
В остальных случаях наверное придётся быть готовым к необходимости учить Objective-C.
Даже Java Андроид-программистам на некоторых проектах приходится писать на c.