В конце 1860 годов Мануфактур-советник Михаил Григорьевич
Рукавишников приобрёл каменный двухэтажный дом на Верхнее-Волжской набережной (прежним владельцем его был купец 3-й гильдии Серапион Везломцев). Главный дом усадьбы представлял собой пример постройки на основе «образцового проекта» в стиле позднего классицизма. На первом приземистом этаже, расчерченном рустовкой, стоял высокий второй. Вдоль него и мезонина шёл четырёхколонный портик ионического ордера, увенчанный треугольным фронтоном. Украшением фасада служил балкон с чугунной решёткой в центре второго этажа. Во двор вели каменные ворота с калиткой. Некоторые исследователи считают, что автором проекта этого дома был Г.И. Кизеветтер, разрабатывавший «образцовые проекты» зданий того времени. Проект перестройки старого особняка в 1875 году (надстройка дома ещё одним этажом на уровне мезонина) предусматривал изменение облика дома в духе эклектики: четырёхколонный портик ликвидировался, над крышей предполагалось устройство светового фонаря. Но эта задумка не была осуществлена.
И.С. Рукавишников в романе «Проклятый род» так написал о мечте богатого наследника: «Будущий дом велик и прекрасен. Тысяча каменщиков будут строить. Чертежи-планы из Москвы и из Петербурга. И будет дом-дворец. И во дворце сто комнат. И будет тот дворец стоить ровно миллион…Пусть весь город ахнет. Пусть со всей Волги полюбоваться съезжаются. Где стоять дворцу тому? Не в улице же узкой, где дома по обе стороны. А на набережной на верхней…»
Возведение особняка было не просто новым строительством. По сути это была реконструкция усадьбы. В объём возведённого дворца было заключено старое здание, доставшееся от прежнего хозяина усадьбы. Это было сделано в силу «волеизъявления покойного родителя или живой в то время матери». Но главную роль сыграл вопрос экономический. Ведь пик деловой активности семьи пришёлся на период жизни Михаила Григорьевича. Его сын Сергей Михайлович Рукавишников жил на проценты, занимался коневодством и последние годы провёл в усадьбе под Богородском.
Надзор за работами принял известный нижегородский инженер-архитектор Р.Я. Килевейн.
Литературные источники в качестве проекта особняка указывают на московского архитектора Петра Самойловича Бойцова, а отделку фасадов скульптурами приписывают Михаилу Осиповичу Микешину – автору памятников «Тысячелетие России» в Великом Новгороде, Екатерине II в Санкт-Петербурге, Богдану Хмельницкому в Киеве и других.
Сын владельца оценил дворец в своей книге так: «Строили его, чтоб на много-много лет в городе не было дома, тому равного. Ни у кого ни дерзости, ни капиталу не хватит…».
Вслед за ним в советское время яркость этого архитектурно-художественного решения склонны были осуждать: «Здание в целом тяжело и мрачно. Хороши только …отдельные лепные детали фасада. Внутри здание отделано, очевидно, по заказу и вкусу хозяина, грубо, с претензией на роскошь и показное богатство»
