Как свидетельствует летопись, в 1221 году владимирский князь Юрий Всеволодович основал у слияния рек Оки и Волги крепость, получившую потом название Нижний Новгород. Крепость состояла из деревянно-земляных укреплений — глубоких рвов и высоких валов.

В 1367 году Дмитрий Донской приступил к строительству каменного кремля в Москве, а в 1372 году началось возведение каменного кремля и в столице Нижегородского государства. В 1372–1374 годах там была построена первая каменная цитадель.

С потерей независимости Нижегородского княжества работы по каменным укреплениям города прекратились более чем на столетие. Только при первом великом князе «всея Руси» Иване III Нижний Новгород стал рассматриваться как главный оплот государства на востоке. Началом строительства каменного Нижегородского кремля стала постройка в 1500 году в прибрежной части города Ивановской башни. В 1508 году великий князь Василий, сын Ивана III, направил в Нижний опытного итальянского зодчего Пьетро Франческо, или, как его звали русские, Петра Фрязина. С его именем связано планомерное строительство в 1508–1511 годах каменного Нижегородского кремля. В короткие сроки — к 1515 году — грандиозное строительство было завершено.

Одним из первых обжёгся о построенную крепость в 1520 году казанский хан Сейн-Гирей. Подступив к Нижнему, он спалил всё, что стояло перед кремлёвскими стенами, прошёл ров и остановился: бойницы в крепости были сделаны так, что стрелы доставали всюду. Постоял Гирей три дня и отошёл. Летописец тут же поспешил сей факт отметить: «Ничтоже сотворили, отыдя вспять».

В начале XVIII века кремль утратил своё боевое значение.

В систему кремля входит 13 башен — 5 квадратных, имевших ворота, и 8 круглых. Названия башен: Дмитровская (центральная), и от неё, следуя в западном направлении, — Кладовая, Никольская, Коромыслова, Тайницкая, Северная, Часовая (сторожевая башня с часами), Ивановская, Белая, Борисоглебская, Зачатская, Георгиевская и Пороховая.

Башни высотою от 18 до 30 м связаны мощными (до 5 м шириной) стенами с зубцами от 12 до 22 м высотою. Общая длина кремлёвских стен с башнями — 2045 м. Благодаря особому расположению башен — они были значительно выдвинуты из стен — защитники кремля могли перекрёстным огнём контролировать все подступы к стенам. Вдоль стен располагался глубокий ров. Сложную систему обороны имели ворота, находившиеся в квадратных башнях. Подъёмный мост, 3 пары створных ворот и опускные решётки — герсы — делали проникновение в крепость практически невозможным. За 8 столетий истории Нижнего Новгорода и сам кремль, и его башни не единожды горели, разрушались и восстанавливались, нередко не в первоначальном виде.

Часовая башня, служившая сторожевым пунктом, получила название по часам, которые находились в пятиугольном бревенчатом срубе в верхней части башни и в течение двух веков были главными городскими часами.

В писцовой книге 1621 года сказано: «…На башне часы боевые», то есть часы и перечаски отмечались боем. Бой часовых колоколов звучал и как сигнал тревоги. Смотритель часов, который жил возле башни, именовался часовником. Имя одного из них история сохранила: в начале XVII века за часами следил Иван Родионов. Если учесть, что в ту пору время в Нижнем можно было узнать только по двум башенным часам — в кремле и в Благовещенском соборе, станет понятым ответственность часовника и его авторитет в городе. Каждый день часовник поднимался на башню и с помощью каменных гирь отлаживал ход часов. Это было не так просто, потому что в древней Руси различали часы дневные и ночные: первый дневной час начинался с момента восхода солнца, а первый ночной — с момента захода. И на циферблате было не 24 деления по числу часов в сутках, а 17 — по наибольшей продолжительности в часах летнего дня в Нижнем Новгороде.

Часовник примерно через каждые полмесяца должен был изменять начало боя часов, чтобы соответствовать началу суток.