Возможно, дело в оптимизациях по умолчанию. ИМХО unsafe-код просто не оптимизируется. В то время как safe-код может в некоторых местах оптимизирован по умолчанию.
Ы?
ПыСы. У меня вот получилось, что g++ оптимизирует лучше, чем компилятор c++ в 2010-й студии. Тоже не совсем понятно, почему. Но одна и та же программа, откомпилированная там и там, работает с разной скоростью на одном и том же компе при одинаковых условиях.