Где найти хоть какую-то математическую модель, связанную с sql запросами?
Ну а чем вам реляционная алгебра не подходит? :) en.wikipedia.org/wiki/Relational_algebra
Джонатан Льюис - Основы стоимостной оптимизации