He worshipped in Newton's church, and collaborated with the priest on a volume of hymns; it was published as "Olney Hymns" in 1779.
הוא היה מאמין מסור ופעיל בכנסייה, ושיתף פעולה עם ניוטון בכתיבת מזמורים, אשר יצאו לאור בשנת 1779 כמזמורי אולניי.