Als die Regierung von Victoria beschloss, in Williamstown eine Sternwarte zu errichten, vertraute sie 1853 die Leitung Ellery an, der während seiner Studienzeit in Cambridge von Freunden die Praxis der Sternbeobachtung gelernt hatte.