Sachverhalt: A. A.a. X._ (geb. 1965) und A._ (geb. 1981) ehelichten sich am xx.xx.2004. Sie sind die Eltern der am xx.xx.2006 geborenen Tochter B._. Die Eheleute wohnten in C._. Mit Verfügung vom 12. Juni 2008 bewilligte die Eheschutzrichterin des Bezirksgerichts Zürich das Getrenntleben der Eltern. Das Kind B._ wurde für die Dauer des Getrenntlebens unter die Obhut der Mutter gestellt und der Kindsvater X._ berechtigt, sein Kind ab Bezug einer eigenen Wohnung jedes zweite Wochenende zu besuchen. Im Weiteren errichtete die Eheschutzrichterin eine Beistandschaft gestützt auf Art. 308 Abs. 1 und 2 ZGB für das Kind und beauftragte die Vormundschaftsbehörde der Stadt Zürich mit der Bestellung des Beistands. A.b. X._ zog in der Folge nach Deutschland, während A._ zusammen mit dem Kind in der Schweiz verblieb. X._ klagte in Deutschland, A._ in der Schweiz auf Scheidung. Das in der Schweiz von der Ehefrau angehobene Scheidungsverfahren wurde mit Verfügung des Einzelrichters am Bezirksgericht Zürich vom 28. Juni 2011 infolge des in Deutschland hängigen Scheidungsverfahrens sistiert. Mit Beschluss des Amtsgerichts Waldshut-Tiengen vom 21. Dezember 2012 wurde die Ehe der Parteien in Anwendung schweizerischen Rechts (Art. 112 ZGB) geschieden. Das deutsche Gericht traf keine Entscheidung über die elterliche Sorge, den Kinderunterhalt und das Besuchsrecht des Vaters. Mit Verfügung vom 7. Juni 2013 trat das Einzelgericht am Bezirksgericht Zürich auf die Scheidungsklage der Kindsmutter nicht ein. B. Im August 2013 wandte sich X._ an die Kindes- und Erwachsenenschutzbehörde KESB der Stadt Zürich, da die Kindsmutter seit mehreren Monaten den Kontakt zwischen ihm und seiner Tochter vereitelt bzw. an sachfremde und unakzeptable Bedingungen geknüpft habe. Er verlangte von der Erwachsenenschutzbehörde, sein Besuchsrecht durchzusetzen und alle notwendigen Massnahmen zu treffen, um den regelmässigen Kontakt zwischen ihm und seiner Tochter wiederherzustellen. Die angerufene Instanz unternahm in der Sache angeblich nichts; X._ gelangte daher mit Rechtsverweigerungs- bzw. Rechtsverzögerungsbeschwerde an den Bezirksrat Zürich, der die Beschwerde mit Urteil vom 7. November 2013 abwies. Das Obergericht des Kantons Zürich gab der von X._ gegen das bezirksrätliche Urteil erhobenen Beschwerde mit Urteil vom 19. Dezember 2013 nicht statt und bestätigte den angefochtenen Entscheid. C. X._ hat gegen das obergerichtliche Urteil beim Bundesgericht mit Eingabe vom 17. Januar 2014 (Postaufgabe) Beschwerde erhoben. Er beantragt, das angefochtene Urteil aufzuheben und die Kindes- und Erwachsenenschutzbehörde KESB der Stadt Zürich zu verpflichten, sein Besuchsrecht durchzusetzen und alle notwendigen Massnahmen zu treffen, um den regelmässigen Kontakt zwischen ihm und seiner Tochter wiederherzustellen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. D. Das Obergericht hat auf Vernehmlassung verzichtet. Die Kindes- und Erwachsenenschutzbehörde KESB der Stadt Zürich (Beschwerdegegnerin) hat sich am 6. März 2013 vernehmen lassen. Sie beantragt Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Beschwerdeführer hat am 18. März 2014 repliziert. Die Beschwerdegegnerin hat am 28. März 2013 dupliziert. Der Beschwerdeführer hat am 4. April 2014 eine Triplik eingereicht, zu welcher die Beschwerdegegnerin am 10. April 2014 Stellung genommen hat. Ein weiterer Schriftenwechsel fand nicht statt. 