Как показывают архивные документы, каменный дом имеет сложную строительную историю, и, скорее всего, он был изначально построен в 80-е годы XVIII века и является одним из наиболее старых гражданских строений города.
В 1891 году здание приобретает известный в городе купец Александр Петрович Селиванов.
Род Селивановых проживал на ростовской земле с середины XVIII века, и это была одна из самых знаменитых и почетных ростовских фамилий в среде предпринимателей, промышленников и состоятельных купцов своего времени. В 1901 году, после смерти Александра Селиванова, дом переходит к его сыну Павлу Селиванову, при котором в 1909 году особняк вновь перестраивается в стиле модерн, приобретя тот облик, который в основных чертах дошел и до нашего времени.
После революции 1917 года были национализированы предприятия и конфисковано имущество Селивановых, в том числе и работающая до сего времени кофе-цикорная фабрика и этот великолепный особняк. В советское время большие помещения второго этажа были разгорожены на ряд небольших коммунальных квартир. Впоследствии здание потеряло богатую отделку своих интерьеров, погибли роскошные витражи, изразцовые камины, дверные ручки и другое богатое внутреннее убранство дома. Однако наружный облик здания все еще сохранял свои основные черты.
В 2005 году здание купеческого дома династии Селивановых было куплено частным инвестором уже в плачевном состоянии. В результате проведенной им реконструкции зданию был возвращен первоначальный облик, спасены часть оригинальной ковки внутри здания и парадная лестница. В настоящее время в особняке работает отель-ресторан «Селиванов», его роскошные интерьеры воссозданы в стиле «модерн» и радуют своим нарядным убранством, атмосферой радушия и гостеприимства многочисленных гостей города.