Здание было построено еще до периода гуситских войн. С момента его создания и до сегодняшнего дня в нем хорошо сохранились большие подвалы, а также внутренняя планировка. В тот период на территории, рядом с данным сооружением, располагался Мясной рынок. И Каменный дом находился в собственности богатых мясников.Внешний вид здания, с момента его строительства, претерпел значительные изменения. В 1489 году по заказу горного предпринимателя П. Кроупа, а также одного местного патриция, была проведена реконструкция фасада. На сегодняшний момент дом имеет такой же вид, как и после произведенных изменений. Уникальный внешний облик был сотворен при помощи вроцлавского мастера зодчества Брицки. На фасаде можно увидеть ажурные орнаменты, а также красивые глубокие рельефы. Это говорит о высоком профессионализме мастера в области искусства резки по камню. Такое богатое украшение внешнего вида дома, должно было показать, что у владельца Кроупе есть дворянский титул, а также выделить здание из большинства других. До сегодняшнего дня на передней части дома из камня сохранился интересный гончарный знак. Он изображает патриархов Адама и Еву, которые находятся под деревом познания добра и зла. Данный символ указывает на то, что на этой территории имеется еще гончарный рынок.На первом этаже в центре Каменного дома находится сводчатый мазхаус. Эта архитектурная деталь является характерной для большинства домов мещан, которые были возведены в готическом стиле. Через него можно было пройти в другие помещения, которые располагались на 2-м и 3-м этажах. Второй этаж имеет гостиный зал, а также часовню, в нише которой находится Божий Ягненок.Каменный дом несколько раз был перестроен из-за смены собственников. После того как в XIX веке Каменный дом перешел во владение городских властей, он остается без изменений. В настоящее время на территории здания находится музей. Здесь располагается экспозиция под названием — «Художественные ремесла и Кутна-Гора». Интерес представляет, реконструированная под средневековье, черная кухня, которая находится там, где и была в Средние века.