Губернаторский дом был построен по велению Александра I как императорский путевой дворец. Строительство усадьбы было произведено за один год за счёт казны под присмотром ярославского губернатора. С момента постройки использовалась как официальная резиденция губернаторов. Все русские правители, от Александра I до Николая II, посещали губернаторский дом. В губернаторском доме жили и работали 17 губернаторов, начиная с Александра Михайловича Безобразова и заканчивая Николаем Леонидовичем Оболенским. С 1970 года в бывшем губернаторском доме расположен Ярославский художественный музей, признававшийся в 1996 году лучшим провинциальным музеем России. Первоначально резиденция губернатора представляла собой центральное трехэтажное здание, два двухэтажных флигеля, хозяйственные постройки и сад, выходящий на Ильинскую площадь. Фасад главного дома, выходящий на набережную Волги, выдержан в строгом стиле, а фасад, выходящий в парк, снабжён пандусами и выглядит не так официально. В 1860 году главный корпус усадьбы был перестроен, а его фасад оформлен в стиле позднего классицизма. В 1866 году на месте северного флигеля была установлена ограда, а южный флигель позже подвергся оформлению в стиле поздней классики. В 2009—2010 годах была проведена реконструкция музея, в ходе которой рядом с главным входом в центральное здание была обнаружена арка от несохранившегося подземного хода, ведущего от губернаторского дома в грот на нижней набережной Волги, располагавшийся под смотровой площадкой на верхней набережной.