По-моему, скорость переключения потоков в лучшем случае - один такт системной шины. Чтобы переключиться на другой поток потребуется обратиться к ОЗУ. В вырожденном случае контекст может сохраниться в кэше (и восстановиться оттуда), но я не знаю, будет ли это влиять на скорость переключения потоков.

По поводу времени в обратном направлении. А не могут ли потоки не вовремя засыпать? Сначала отпишется последний поток, затем предпоследний, затем первый из обращавшихся к счётчику времени...