Koło to jedno z najstarszych miast w Polsce. Prawa do używania tego miana nadał osadzie w 1362 roku Kazimierz Wielki. Zamek został zbudowany (poza ówczesnym miastem) z jego fundacji, o czym wspomina w kronikach Jan Długosz. Fundamenty budowli były kamienne, a mury z cegły. Zamek miał olbrzymią wieżę. Nawet jej ruiny, mierzące zaledwie 16 metrów, robią wrażenie.
W średniowieczu na zamku kolskim odbywały się sejmiki szlacheckie, a po bitwie pod Grunwaldem w 1410 roku zapadły najważniejsze decyzje w stosunkach z Zakonem Krzyżackim. Tutaj po zawiązaniu tzw. Związku Pruskiego jego wysłannicy negocjowali z królem Kazimierzem Jagiellończykiem, a później Polacy prowadzili mediacje z królem Karolem Gustawem. Te ostatnie nie powiodły się i Szwedzi zaatakowali Rzeczpospolitą. Podczas wycofywania, zniszczyli zamek, którego nie udało się przywrócić do świetności nawet zakonowi bernardynów, kiedy ci otrzymali go, by założyć w nim klasztor.
Obiekt dostępny bez ograniczeń.