Foi fundado pelos capitães romanos Nigro, Servio e Junio no tempo do Imperador Augusto César. Situa-se a 550 m de altitude. Toda a defesa de Portugal perante as invasões Castelhanas, durante a Idade Média, esteve ligada a este Castelo. Foi restaurado no reinado de D. Dinis e mais tarde em 1940 foi dada à torre a sua primitiva feição repondo-lhe as ameias, soalhando os andares e alteando a muralha. O recinto fortificado possui duas portas, uma virada a nascente e a outra para poente. Por mais de uma vez esta fortaleza esteve debaixo de cerco, não faltando sequer a lenda, hoje imortalizada pelo brasão de armas de Celorico, na qual é revelada a astúcia e fidelidade das gentes de Celorico para com o seu monarca. Num penedo junto aos alicerces do castelo, encontra-se uma inscrição rupestre dedicada a Munis ou Munidis, datada do séc. I D.C..

A Torre tem a forma de cubelo, que em princípio será do séc. XV. O relógio é mecânico e tudo leva a crer que é do início do século XVII. As horas são batidas num sino implantado no alto da Torre.

Era um símbolo jurídico e administrativo, levantado na praça principal da vila, que na altura seria o largo de Santa Maria, próximo da Torre do Relógio. Foi destruído em 1871, cujas pedras desapareceram. Pensa-se dever relacionar o pelourinho de Celorico da Beira, com a reforma manuelina do seu foral.

Edifício tipicamente barroco do séc. XVIII, com boa talha e imaginária barroca. Talvez o monumento mais notável da freguesia, pela pureza do seu estilo. Propriedade da Santa Casa da Misericórdia desta vila.