Позднее к часовне был пристроен небольшой монастырь, в котором на протяжении нескольких веков вели уединенную и размеренную жизнь пара десятков монахов. К концу 18 столетия природные явления и катаклизмы — вначале молния, а затем землетрясение, практически уничтожили монастырь. Чудом сохранилась только часовня. Почти сотню лет все было заброшено. Путешествуя по стране, молодой принц Фердинанд, в 1838 году увидел часовню и решил построить на ее месте летнюю резиденцию королевской семьи Португалии. С этой целью он приобретает близлежащие земли и начинает строительство. Строительство дворца было доверено немецкому инженеру и генерал-лейтенанту Людвигу фон Эшвеге. Барон много путешествовал, поэтому дворец является яркой демонстрацией многих стилей архитектуры, которые вызывали у него интерес. Присутствуют неоготика и неоренессанс, псевдосредневековый стиль и эклектика. Король Фердинанд и Мария II активно участвовали в проектировании дворца. Дворец в 1847 году уже, практически, был готов, когда они решили добавить некоторые исламские элементы, арки, а также изменить главный фасад, украсив его огромными вычурными окнами. Закончили возводить дворец к 1854 году. Республиканская революция Португалии внесла свои коррективы в жизнь королевской династии. Дворец Пена является одним из часто посещаемых мест туристами в Португалии. Время потрудилось над цветовой палитрой дворца, превратив его из яркого и солнечного в унылый и серый. В конце прошлого столетия были проведены большие работы по возвращению дворцу его первоначального вида, и Дворец Пена снова заиграл красно-желтыми красками. Интерьер дворца очень хорошо сохранился, поэтому и сегодня можно полностью погрузиться в королевскую атмосферу и ощутить на себе дыхание времени. Ежедневно в 12 часов пополудни звучит пушечный выстрел, который производится под действием специального механизма, запускаемого солнечными часами 1843 года, установленными на башне. Большого внимания заслуживает и королевский парк, в котором можно встретить массу редких экзотических растений со всего мира.
