Как организовать десктопное приложение использующее базу данных, при этом клиенту не нужно было устанавливать сервер?
Специально для это есть SQLite - это и БД и база одни файлом в любом удобном месте. Работает даже на мобильных.
Если нужна локальная БД, то, как сказал выше freeExec - юзайте SQLite. 
Ещё можете попробовать LiteDb. Но она NoSql и EF там не нужен. Хороша для хранения простых структур данных