Как при помощи Python найти во множестве docx документах все упомянутые города и улицы?
У вас вопрос довольно обширный:
1. Выделить текст из docx
2. Обработать текст и получить адреса
3. Вставить в Excel
Я остановлюсь на той части, которая на мой взгляд вызывает наибольшие затруднения - на втором этапе, на остальные - ответ легко ищется.

Вытягиваете из документа текст
Далее регулярками вытягиваете что вам надо

Вот к примеру на скорую руку набросал. Вы можете вариациями дополнить:
regexp = "((г|город|пгт|ст|с)(\.|\s)\w+,.*(ул|улица|пр|проспект|проулок|проезд)(\.|\s).*?\d+?)\D+"
address = re.findall(regexp, str1, re.IGNORECASE)

По поводу обработки текста, вопрос решен. По поводу вставки в excel, думаю проблем ни у кого не будет. 
Вот пара ссылок на статьи, которые помогли мне написать регулярку -  

Сама же регулярка, которая у меня получилась выглядит вот так 
(г|снт|п)(\.|\,|\s)(\s|\.|.|\D*|\D*\,|\D*.|\D*\s\-|\w*|\W*)(ул|пер|б-р|просп|пр-кт|пр)(\.|\,|\s)(\D*\s|\D*\,|\D*.|\D*\s\-)([\d*\s]{1,3})
Да, я понимаю, что для кого то она покажется убогой, но в моем вопросе, она на 100% справляется :-) 
Находит адреса в следующих форматах, например: "г Кемерово ул Проездная 531; г. Москва, ул. Карамшина 222; г, Новокузнецк, ул. 1-ая Стахановская 423; Г. Нижние Патрубки, ул. Оккупация 10;п, Металлплощадка ул, Западная д. 12" и так делее... 
p.s. адреса вымышлены