26 февраля 1891 года Император Александр III назначил Великого Князя Сергея Александровича московским генерал-губернатором, а это означало попечение не только о Москве, но и о десяти прилегающих к ней губерниях — он развернул невероятную деятельность, задавшись целью сделать город равным европейским столицам.
Москва при нем стала образцовой: чистая, аккуратная брусчатка, городовые, выставленные в зоне видимости друг друга, все коммунальные службы работают идеально, порядок везде и во всем. При нем налажено электрическое освещение улиц — построена центральная городская электростанция, возведен ГУМ, отреставрированы башни Кремля, построено новое здание Консерватории; при нем по первопрестольной стал ходить первый трамвай, открылся первый общедоступный театр, а центр города был приведен в идеальный порядок.
Трудно представить, насколько деятельными людьми были супруги Великий князь Сергий Александрович и Великая княгиня Елизавета Федоровна, сколько они успели сделать за свою, в общем, недолгую жизнь!
Он возглавлял или был попечителем около 90 обществ, комитетов и других организаций, причем находил время принимать участие в жизни каждого из них. Вот лишь некоторые: Московское архитектурное общество, Дамское попечительство о бедных в Москве, Московское филармоническое общество, Комитет по устройству при Московском университете Музея изящных искусств имени императора Александра III, Московское археологическое общество. Он состоял почетным членом Академии наук, Академии художеств, Общества художников исторической живописи, Московского и Петербургского университетов, Общества сельского хозяйства, Общества любителей естествознания, Русского музыкального общества, Археологического музея в Константинополе и Исторического музея в Москве, Московской духовной академии, Православного миссионерского общества, Отдела распространения духовно-нравственных книг.
С 1896 года Сергей Александрович — командующий Московским военным округом. Он же — председатель Императорского Российского Исторического музея. По его инициативе был создан Музей изобразительных искусств на Волхонке — в основу его экспозиции великий князь заложил шесть собственных коллекций.