Philibert war der letzte männliche Nachkomme einer auf Wilhelm IV. von Auxonne zurückgehenden Nebenlinie der Grafen von Burgund, die Orange seit der Heirat Johanns IV. von Chalon mit Maria, der Erbin des Fürstentums, regierten.