Konnte James noch die Stellung der Familie in den Welsh Marches festigen, geriet die Familie nach seinem Unfalltod 1272 und den rasch aufeinanderfolgenden Todesfällen seiner ersten drei Söhne bis 1299 in eine Krise.