Sachverhalt: A. X._, geb. 1959, schweizerischer Staatsangehöriger, und Z._, geb. 1981, kamerunische Staatsangehörige, heirateten am xxxx 2006 in Yaoundé (Kamerun). Im Rahmen des Familiennachzuges kam Z._ in die Schweiz und hat seitdem eine Aufenthaltsbewilligung. Mitte Juli 2008 wurde der gemeinsame Sohn Y._ geboren. Im Rahmen der Tätigkeit des Vaters bei der S._ AG reiste die Familie am 3. Januar 2010 nach Ouagadougou (Burkina Faso), wo dieser voraussichtlich bis August 2011 als Projektmanager arbeiten wird und wo die Familie seither lebte. Am 20. August 2010 reiste die Mutter mit dem Sohn ohne Mitteilung an den Vater von Burkina Faso nach Paris zu ihrer Schwester. Am 4. September 2010 reiste sie mit dem Sohn weiter nach B._ zu ihrem Bruder und kurz darauf nach Luzern, wo sie sich offenbar in einer geschützten Einrichtung aufhält. Am 14. September 2010 leitete die Mutter beim Amtsgerichtspräsidenten von Luzern-Stadt ein Eheschutzverfahren ein, welches in der Zwischenzeit bis zum Abschluss des vorliegenden Verfahrens sistiert wurde. B. Am 22. September 2010 reichte der Vater beim Obergericht des Kantons Luzern ein Gesuch um Kindesrückführung ein mit dem Begehren um Rückführung des Sohnes nach Burkina Faso, wobei er in erster Linie die Übergabe in der Schweiz verlangte und eventualiter die Verpflichtung der Mutter zur Rückführung des Sohnes zusammen mit einer Begleitperson oder bei Weigerung durch eine Begleitperson allein. Mit Entscheid vom 13. Dezember 2010 wies das Obergericht das Rückführungsgesuch ab. C. Dagegen hat der Vater am 27. Dezember 2010 eine Beschwerde in Zivilsachen erhoben mit dem Begehren um Anordnung der Rückführung, in erster Linie durch Übergabe des Sohnes und des Passes in der Schweiz, eventualiter durch Verpflichtung der Mutter zur Rückführung des Sohnes mit einer Begleitperson oder bei Weigerung durch eine Begleitperson allein. Mit Vernehmlassungen vom 4. bzw. 17. Januar 2011 beantragten das Obergericht und die Mutter die Abweisung der Beschwerde, soweit darauf einzutreten sei. Mit Schreiben vom 17. Januar 2011 hat die Rechtsvertreterin des Kindes unter Verweis auf ihre kantonalen Eingaben auf eine Vernehmlassung verzichtet. 