В чем заключается работа системного архитектора?
Системный архитектор на этапе планирования проекта исходя из предположений о количестве пользователей и их активности выдвигает прогнозы о том какую базу данных выбрать, как организовать кластер, какое железо и сколько надо, какой тип масштабирования выбрать - вертикальный, горизонтальный, какое место в системе скорее всего станет узким в первую очередь, какое во вторую (система упрётся в лимит по процессору или оперативной памяти или жёсткому диску) нужно ли разделять сервера на БД и файловый.
В зависимости от масштабов компании он может проектировать как сетевую инфраструктуру, так и локальные задачи. В маленьких компаниях обычно такие люди совмещают должность либо с архитектором БД либо с системным администратором (в зависимости от того проектирование какой именно системы больше всего влияет на бизнес-процессы).
Можно посмотреть классическое определение 
В целом должность востребована начиная с определённого масштаба компании.
Уникальность его в опыте, он уже построил N крупных систем на нескольких технологиях и хорошо знает достоинства и недостатки каждой из них.
Часто прокатывает и без системного архитектора, а иногда не прокатывает и случаются такие вещи Как бороться с лимитом в 1000 записей LDAP? или такие Можно ли в MySQL создать индекс для ORDER BY по условию?
Он придумывает архитектуру приложения, большого приложения, если вы работали с маленькими это сложно понять