Doch spätestens nachdem Preußen 1866 Österreich aus dem Deutschen Bund und aus Holstein vertrieben hatte, wurde Friedrich endgültig politisch kaltgestellt und musste mit seiner Familie Holstein verlassen.