Как записать в файл json именно таким образом?
JSON (англ. JavaScript Object Notation) — текстовый формат обмена данными, основанный на JavaScript. Но при этом формат независим от JS и может использоваться в любом языке программирования.

У него есть свой формат записи данных, то что ты хочешь не является форматом json. Поэтому и ошибка.
Во-первых, json.loads принимает на вход строку или байты, а не объект файла. Поэтому надо делать jf_file = json.loads(jfr.read())

Во-вторых, json.loads возвращает словарь, а у словаря нет метода append, есть метод update. Если вместо append вписать update, будет работать.

В-третьих, внимательно с отступами - второй with не должен быть внутри первого.