摩尔斯生于麻省查尔斯镇，是美国「地理学之父」兼基督教公理会牧师迦地大·摩尔斯及Elizabeth Ann Breese Morse的长子。 迦地大·摩尔斯是一个喀尔文主义的传道者，也是美国联邦党的拥护者。他不但保有清教徒严格遵守安息日的传统，也相信强大的中央政府以英语建立的联盟。他相信联邦内的教育能够把喀尔文主义的美德、道德及祷告灌输给他的儿子。在麻省就读菲利普斯学院后，萨缪尔·... 继续上述操作，使其回答“摩尔斯在哪里修读有关电的课程？”：
摩尔斯进入耶鲁学院修读宗教哲学、数学及有关马匹的科学。其间曾经修读本杰明·西利曼及杰里迈亚·戴有关电的课程。于1810年毕业。