Sachverhalt: A. Seit dem 22. März 2013 ist vor dem Zivilgericht Basel-Stadt das von X._ eingeleitete Scheidungsverfahren hängig. Nachdem er bereits in seiner Scheidungsklage auf die besonders heiklen Verhältnisse rund um den ehelichen Landwirtschaftsbetrieb hingewiesen hatte, ersuchte X._ das Gericht am 22. August 2013, unverzüglich das Miteigentum am ehelichen Landwirtschaftsbetrieb aufzuheben. Auf die Eingabe vom 18. November 2013, in welcher X._ diesen Antrag wiederholte, verfügte die Instruktionsrichterin (Zivilgerichtspräsidentin), Y._, am 20. November 2013, sein Begehren werde im Rahmen der für den 30. Januar 2014 vorgesehenen Einigungsverhandlung behandelt. Am 27. November 2013 erhob X._ eine Rechtsverweigerungsbeschwerde, welche das Appellationsgericht des Kantons Basel-Stadt mit Entscheid vom 16. Januar 2014 kostenfällig abwies. Mit Urteil vom 20. März 2014 trat das Bundesgericht auf die von X._ gegen den Entscheid des Appellationsgerichts erhobene Beschwerde, mit der vor allem die Auferlegung der Kosten des Verfahrens betreffend Rechtsverweigerung angefochten worden war, nicht ein (Urteil 5A_130/2014 vom 20. März 2014). B. Bereits mit Eingabe vom 28. Februar 2014 reichte X._ erneut eine "Beschwerde gegen Y._ wegen fortgesetzter Rechtsverweigerung und systematischer Diskriminierung eines Nicht-Juristen oder Mannes sowie trölerischem Verhalten und Irreführung des Appellationsgerichts" ein. Das angerufene Gericht nahm die Eingabe als Rechtsverzögerungsbeschwerde entgegen, wies diese ab und auferlegte X._ die Kosten des Verfahrens. C. X._ (Beschwerdeführer) hat mit Eingabe vom 2. Mai 2014 (Postaufgabe) beim Bundesgericht gegen vorgenannten Entscheid des Appellationsgerichts Beschwerde in Zivilsachen erhoben. Er beantragt sinngemäss, die "Rüge des Zivilgerichts" mithin die Gutheissung der Rechtsverzögerungsbeschwerde, und ausdrücklich die Aufhebung des Kostenpunktes des angefochtenen Entscheids. Es sind keine Vernehmlassungen eingeholt worden. 