Как запретить отправку формы такого типа?
Просто прочитайте документацию к плагину$("form").submit(function() {
  var that = this;
//    $(this).validate() // возможно и валидацию понадобиться вызвать, смотря как у вас там все работает..
    if ( !$(this).valid() ) return false; // проверьте, правильно ли заполнена форма

    $.ajax({
      type: "POST",
      url: "mail.php",
      data: $(this).serialize()
    }).done(function() {
      alert("Спасибо за заявку!");
    });
        setTimeout(function() {
            $.fancybox.close();
            $(that).trigger("reset");
        }, 1000);
    return false;
  });
$("form").submit(function(event) { // <- вставьте сюда event object
    // problem это какое-то не выполнившееся условие, например не заполненное поле в форме

    if (problem) {
        event.preventDefault(); // <- предотвращаем сабмит
    } else {
        // все нормально, делаем запрос
    }
});