Колокольная башня (высота - 12 метров, диаметр - 11 метров, четыре яруса боя) расположена в центре южной стены крепости, на крутом склоне горы. Поэтому её внешняя сторона очень опущена и кажется, что эта башня "вырастает" из горы. Рядом с нею находится въезд в город и главные ворота.
Когда-то на этой башне была установлена звонница Никольского собора, или колокольница. На ней висел сполошный колокол, и звонницу ещё называли Сполошной. Если враг подступал к городу или случалась другая беда, бил колокол. Его тревожные звоны долетали даже до Пскова.

В 1872 году по распоряжению местного духовенства обветшавшую звонницу сломали и, ломая, в одном метре от опорных столбов обнаружили замурованный в кладке человеческий скелет. Кто это был и почему принял такую мученическую смерть, осталось неизвестно. Но появилась легенда о том, что в стене Колокольной башни замурован юноша, решившийся на предательство: он намеревался открыть ворота крепости осаждавшему город врагу. Возможно, в кладке были обнаружены святые мощи, имеющие охранное значение, хотя и это только предположение.