По легенде, местечко Любча (от слова "любить") основал великий князь Миндовг в честь любимой – Марты, которую он встретил в этих местах. И возможно, именно в Любче, где находились столица Литовско-Русского епископства и первый доминиканский монастырь, позже крестили Миндовга. Величественный замок здесь приказал возвести влиятельный магнат ВКЛ Ян Кишка, а закончил строительство талантливый полководец Януш Радзивилл, превративший бастион в резиденцию знаменитого рода. Но протяжении столетий не однажды Любчанский замок выдерживал набеги и войны.

 

В XIX веке остатки внутренних зданий были снесены, а на их месте рядом с двумя башнями вырос дворец в стиле английской неоготики.