Наиболее известный городской храм, который называется Собор Святой Барбары (Варвары), перешел в их владение. Именно поэтому, рядом со святилищем, в конце XVII века, иезуиты выстроили свой комплекс — красивое здание Иезуитского колледжа. Чтобы выполнить строительные работы наилучшим образом, был приглашен известный на тот момент времени архитектор Орси. Основные заказы ему давали священники. Он сотрудничал с монастырями и прославлял в своих работах церковь. Строение Иезуитского колледжа было выполнено в сдержанном и строгом стиле с применением элементов барокко, которые придавали зданию определенное очарование. Месторасположение колледжа было выбрано рядом с Собором Святой Варвары и немного впереди него. Строение выполнено в форме латинской буквы F. Некоторые исследователи считают, что такое расположение посвящено императору Фердинанду Второму, и сделано для того, чтобы напоминать о нем горожанам.Перед наружной стороной здания проходит терраса. Для того чтобы как-то закрыть здание колледжа, по предложению скульптурного мастера Ф. Багута, было решено выстроить напротив стену, на которой будут располагаться статуи известных католических святых. Он же и взялся выполнить такую работу. Здесь можно увидеть изображения таких святых, как: Франтишека Боргиаша, Иосифа Каланского, Иоанна Непомука, Анны, Франтишека Ксаверского, Игнатия Лойолы, Варвары и многих других. На статуях располагаются таблички, на которых указана дата создания данной композиции, а также имя святого и его заслуги перед людьми.Фасад Иезуитского колледжа украшают небольшие башенки, пилястры и лепнина. Поэтому данное сооружение, немного напоминает дворец. После того как закончилась иезуитская власть, а это произошло в 1773 году, сооружение перешло в собственность военных. В помещениях стали располагаться: госпиталь, учебное заведение и казарма. Это продлилось до 1997 года. А со следующего года здание Иезуитского колледжа перешло к Чешскому музею изобразительных искусств.Полная реставрация колледжа была проведена в 2004 году. Сегодня данный архитектурный памятник открыт для посещений.
