Місто існувало вже у 9 столітті як один з осередків сіверян, у літописі згадується вперше 1152, як місто-фортеця Новгород-Сіверського Князівства.
У 12-13 століттях — головне місто удільного князівства і у 14-15 століттях входило до складу Великого Князівства Литовського, У 1522 році приєднано до Москви.
За легендою, назва походить від назви бога Ярила.
На Горі Івана Рилського знаходилось велике язицьке капище. Тут же був дитинець.