MEX-файл изнутри среды MATLAB вызывается так же, как и M-файл (т.е. функция, написанная на MATLABе), по сути своей это обычная DLL, но из неё экспортируется mexFunction, формат вызова которой стандартизован. Ещё очень удобно то, что из MEX-файла можно работать с MATLAB-овскими типами данных с помощью специальных API. Прозрачная интеграция откомпилированной программы со средой - очень ценная штука.

Простые DLL тоже можно вызывать, но это не так удобно: нужно их специальным образом загружать, писать прототипы в MATLABе. А в случае MEX-файла это делает среда автоматически, и работа по преобразованию MATLAB-овских данных в обычные сосредоточена в одном месте.