Нетинформации о том, ктоспроектировал усадьбу. Хотя если брать к вниманию, что еестроительство длилось около тридцати лет, то можнопредположить, что здесь работал не один архитектор. Некоторые утверждают о привлечении к конструкторским работам каторжника, сидевшего в Тобольской тюрьме. Благодаря немалой взятке Расторгуева, этого человека переправили в Екатеринбург и приказали под угрозой наказания не называть свое имя. Барин пообещал освободить узника из тюрьмы по окончанию строительства, но не выполнил сказанного, а бедный архитектор покончил жизнь самоубийством, когда его везли обратно в Тобольск. Первоначально площадь для строительства была куцей. Поэтому Расторгуев обратился к местным чиновникам с просьбой расширить территорию и в результате получил желаемое. Само здание очень красиво и сочетает в себе различные строгие формы и объемы, олицетворяя классический стиль архитектуры. Возле усадьбы расположен живописный парк, высаженный в 1826 году, где вырыто искусственное озеро, а рядом стоит милая беседка круглой формы. В 1924 году были найдены подземные ходы, проходящие прямиком под парком. Бытуют мнения, что эти ходы объединяли подземную галерею с подвальными помещениями Вознесенской церкви. Из подвала дома, с помощью ходов, можно было попасть в различные части парка. С восточной стороны усадьбы расположен парк. Отсюда можно добраться либо к озеру, либо к погребу, расположенному в саду. Центральный вход в усадьбу Расторгуевых-Харитоновых выполнен с огромным чувством вкуса. Хотя сам зачинщик строительства, так и не увидел завершения своего проекта. После его смерти владения перешли в руки зятя по фамилии Харитонов. Усадьба Расторгуевых-Харитоновых за свою длинную историю использовалась для многих целей. Здесь была типография, конторы и даже коммунальные квартиры. В итоге дом реконструировали и сменили интерьер в комнатах, чтобы разместить Дворец пионеров. Можно с уверенностью утверждать, что он сыграл важную роль в воспитании и культурном развитии подрастающего поколения, обеспечивая детям познавательный и поучительный досуг. В усадьбе для пионеров проводились театральные постановки и спортивные состязания.
