Идея укрепления сигнальных башен принадлежит князю Владимиру Иоанну Васильковичу Волынскому, который издал приказ об укреплении северной границы. Кстати, памятник князю Владимиру сейчас стоит в Каменце. Для разведки мест был отправлен Алекса (в иных источниках Олекса) – в те времена опытный зодчий. Ему вместе с народом пришлось подниматься по реке - другого способа осмотра той местности не было, так как краях были дремучие леса. Позднее эти места проредили от деревьев, и в 1280-х годах началось возведение деревянной крепости с Вежей из кирпича. Это место назвали Каменец. А в городе Владимир Волынский приказал возвести Благовещенскую церковь и всем необходимым для ее работы, написать икону Каменецкой Божией Матери.

После смерти князя (в 1289 году) в городе разместился его племянник - Юрий. На имущество князя также претендовал и брат князя – Мстислав, который угрозами заставил Юрия покинуть город. Перед уходом из города племянник князя и его поданные разорили его.

В 14 веке Каменец стал частью ВКЛ, а позднее при разделе владений Гедымина, его владельцем стал Кейстут.

С 1373 года Каменец постоянно терпел нападки крестоносцев и рыцарей тевтонского и левонского орденов, а через 2 года произошел крупный захват города, в результате чего он сильно пострадал, были захвачены пленные. Такие набеги повторялись еще 2 раза в течении 10 лет.

Через 9 лет после первого набега крестоносцев Каменец был захвачен князем Польши в качестве приданного для своей жены, дочери бывшего владельца города Кейстута. А в 1384 году Каменец захватил уже князь Ягайло.

Во время семейной вражды между двумя двоюродными братьями Витовтом и Ягайло в 1390 году город опять был захвачен последним. После установления мира в семье,  братья приезжали в Каменец для планирования охоты.

В 1500 году город пытаются взять крымские татары, однако безрезультатно. Увидав Вежу, они понимают, что не смогут завоевать ее и поспешно отступают.

Во время войны Речи Посполитой и Московии каменец сильно пострадал, однако Каменецкая Вежа все же устояла.

После того как Вежа перестала использоваться в своем прямом предназначении, она пришла в упадок. Какое-то время она использовалась в качестве склада, а чуть позже как источник кирпича.

Интересным фактом является тот факт, что за долгие века кладка из кирпича стала очень прочной. Каменецкую Вежу пытались разрушить, однако отколоть кирпич просто не представлялось возможным - для этого нужно было расколоть его.

В годы восстаний Кастуся Калиновского в Каменецкой Веже российскими войсками были установлены пушки и устроен склад.

В 1899 году началась реконструкция Вежи - и уже через 4 года все работы по ее ремонту  были завершены. В результате Каменецкая Вежа приобрела тот вид, который мы можем увидеть сегодня.

В 1957 году Каменецкая Вежа почему-то была побелена, однако через 41 год ей вернули первоначальный цвет.