Каким образом с формы пхп передать данные POST, обработать и открыть модальное окно?
я читал ajax, но очень мало
Теперь читайте и пробуйте больше. Пора.
Гуглите как использовать jQuery.ajax()
Если я не ошибаюсь, то jQuery из под коробки присутствует в BOOTSTRAP.