Il palazzo detto dell’ospedale è situato nella parte più antica del paese caratterizzata da stretti vicoli e scorci suggestivi. L’istituzione di un ospedale, Santa Maria degli Infermi, come attestata da documenti, risale al XV secolo. Attualmente è sede della Biblioteca Comunale, dell’archivio storico del comune e dell’enoteca (accesso in via Marconi). Il piccolo museo annesso all’enoteca conserva alcuni strumenti tradizionali che si usavano nelle cantine di Staffolo per produrre i vini del territorio, in primis il Verdicchio. Interessante è il torchio per la spremitura delle uve, imponente nella dimensione. Interamente in legno di quercia, u frisculu riporta la data di fabbricazione del 1695. Nelle sale superiori accanto alla raccolta delle selezioni di vino Verdicchio e Rosso Piceno delle numerose aziende produttrici di Staffolo, vi è una piccola ma pregevole raccolta di staffe da cavalcatura di varia provenienza fra le quali una staffa del XIII secolo. A pochi passi dall‘enoteca, in via Marconi, si erige il Torrione detto dell’Albornoz, imponente costruzione della struttura difensiva del basso medioevo. Gli altri torrioni, parzialmente inglobati in abitazioni, sono ancora oggi visibili percorrendo il giro delle mura.