Понятие процессора в параллельном программировании?
Есть package, если я не путаю термин. Это - физическая хреновина, которая втыкается в плату. Именно ее вы называете "процессором" в вопросе. В package может быть много вычислительных ядер, 2,4,8,16 и так далее. И параллельно работают именно ядра: каждое ядро независимо от другого в тот же момент может выполнять свою часть задачи.
на обычном ПК, где всего один процессор? 
Сейчас вы "обычных ПК" с одним процессором и найдёте... у самых захудалых 2-4 ядра, чаще всего, да ещё и гипертриэдинг от себя добавляет число процессоров.