Церковь городской тюрьмы была организована, по преданию, вскоре после 1812 «в воспоминание славных дел Императора Александра I» на втором этаже двухэтажного каменного здания Тюремного замка на средства генерала Попова, барона Мейндорера и др. лиц. Внешне не выделена. В 1860 получила самостоятельный причт. После 1865 в храм был устроен отдельный вход с улицы, сделавший церковь доступной для жителей города и окрестных сёл. Закрыта вскоре после 1917. Здание замка разрушено в ходе боёв 1943. Место пусто. Сохранились остатки тюремных подвалов.