Положим, в тексте рядом с другими вьюшками лежит наш невидимый Layout Manager.
Он вполне может собрать всю информацию о соседях, хранить на них ссылки, а при сохранении и загрузке - сохранять и загружать их. Вот и всё.

Единственное, он должен периодически проверять все свои вьюшки на предмет того, что они ещё лежат в тексте, если нет - то "отпускать" на сборку мусора.