Pierwszy raz nazwa Elgin pojawiła się w dokumencie Chatulary of Moray z roku 1190. Założone zostało w XII w. jako Royal Burgh przez króla szkocji Davida I. W 1224 roku Katedra Elgin (Elgin Cathedral) została przez papieża Honoriusza III ustanowiona katedrą hrabstwa Moray. Obecnie zachowała się w postaci ruin chętnie odwiedzanych przez turystów.