Non è facile individuare il nucleo primitivo del castello e delle sue mura che costituirono il Castrum Murri dal XI al XII secolo. Accresciutosi negli anni, il castello fu restaurato con una nuova cinta muraria verso la metà del Trecento, come vuole la tradizione, dai Ghibellini che vi si insediarono. Nel 1517 fu incendiato dalle truppe del duca di Urbino Francesco Maria della Rovere.

"Del castello originario resta l'impianto abitativo di forma ovale circondato nel tratto meridionale da mura scarpate formate da blocchetti di pietra e mattoni, su cui sono sorte abitazioni. Nello stesso tratto si apre la porta di accesso al castello, ai piedi di un torrione quadrangolare scarpato, attraverso la quale una stradina in salita conduce all'interno della cerchia muraria in cui sussistono ancora spazi liberi e in cui le abitazioni si dispongono a formare l'anello edilizio e una fila mediana secondo l'asse maggiore dell'ovale". Via Proferno è la strada-scalinata che introduce al castello. Sopra la porta, anticamente fortificata, vi è la torre dove fu costruito il primo orologio. Un'altra torre a pianta quadrata, l'attuale Torre Civica, fu trasformata nel campanile della chiesa di S. Marco. Nel 1837. Sul campanile-torre, in una posizione più alta di quella sulla porta di entrata al castello, fu sistemato poi l'orologio pubblico. Poco oltre la porta d'ingresso al castello, sulla sinistra, era ubicata la vecchia chiesa parrocchiale di S. Marco. Il palazzo dell'ex Mutuo Soccorso rivela una ristrutturazione realizzata verso la fine del Cinquecento o nei primissimi anni del Seicento; una scala a chiocciola da via Proferno immette ai vari piani del palazzo ed esce nel centro storico.