Можно ли letter-spacing задавать в очень маленьких величинах?
Ответ "можно" по обоим пунктам.
Но вообще говоря, гнаться за абсолютным соответствием с psd не обязательно, поскольку адобовский рендеринг шрифтов по определению другой, нежели в ОС и браузерах. Если различие в тысячные доли - забить. Если расхождения более значительные - не симптом лечить, а выяснять причину.
Задавать можно, но браузеры могут округлять. Посмотрите на этот макет в разных браузерах, на разных операционках, и с разными настройками всяких улучшайзеров, типа cleartype. Смысла в такой субпиксельной возне не особо много.