Виник як фортеця волинян у Х ст. Протягом Х-ХІІІ ст. існував як дитинець літописного Дубна. Зруйнований монголами в 1240-41 рр. Приблизно в кінці XIV - початку XV ст. князь Федір Острозький спорудив дерев'яно-земельне укріплення, яке, звичайно, мало дещо інший вигляд, аніж тепер. Ця споруда була оточена земельними валами, огороджена дерев'яним частоколом по периметру і тісно забудована всередині житловими та господарськими приміщеннями.
На території замку знаходяться два палаци: з південного - палац князів Острозьких, а навпроти нього, з північної сторони - палац князів Любомирських. Ім'я архітектора палацу князів Острозьких невідоме.
