Йоркский замок или Башня Клиффорда, возвышающаяся над городом на высоком холме, имеет почти тысячелетнюю историю. Первое укрепление на этом месте, в излучине рек Ривер Аус и Ривер Фосс, появилось в 1068 г. при Вильгельме Завоевателе. Изначально это была деревянная цитадель с двором, обнесенным частоколом (такой тип раннесредневекового замка называют «мотт-и-бейли»). Во время еврейского погрома в конце XII в. ее подожгли местные жители, преследовавшие укрывшихся внутри евреев – а те предпочли убить друг друга, чтобы не быть сожженными заживо.
В середине XIII в. замок перестроили в камне. Его новая башня была создана мастером-каменщиком Генри Реймским и спустя век стала называться по имени мятежника барона Роджера Клиффорда, повешенного на ее стене после поражения в битве при Боругбридже.
В течение веков Йоркский замок в Великобритании служил то военной крепостью, то тюрьмой, то гарнизоном и пороховым складом. В 1684 году хранившиеся в нем запасы орудий взорвались, и из-за высоких температур во время взрыва известняковые крепостные стены башни Клиффорда стали розоватыми. Подробно об истории замка рассказывает действующий в его стенах музей.