В 1770-е гг. состоятельный генерал Пётр Сергеевич Свиньин начал строительство в Смоленском крупной по размаху дворянской усадьбы — самой масштабной из сохранившихся в Ярославской области. Планировочное решение дворца напоминает гигантскую подкову, растянутую по ширине. Замыкался двор решёткой с парадными воротами. Декоративная сдержанность подчеркивает аристократичность постройки, а масштабность и монументальность говорят о состоятельности заказчика. После владения усадьбой Петром Семеновичем в наследство вступил его сын, Павел Петрович. В усадьбе, как и в своём петербургском доме, Павел Петрович устроил настоящий музей древностей, состоящий из картин, портретов, монет, рукописей и редких книг. Позднее село Смоленское перешло во владение генерала Викентия Михайловича Козловского.