Sulla punta più alta del colle sui cui si trova il centro abitato di San Leo, si erge la Rocca di San Leo, che ha origini medioevali.

La sua fama di fortificazione tra le più pregevoli nel periodo medioevale-rinascimentale, le viene attribuita dalla sua posizione inespugnabile, che sovrasta tutto il borgo.

Su volere di Federico III da Montefeltro la Rocca venne rimaneggiata nel XV secolo, e fece aggiungere due possenti torrioni cilindici, tutta la parte residenziale e la cortina muraria.

Fino alla morte, il conte Cagliostro, ovvero Giuseppe Balsamo, fu a lungo rinchiuso della cosidetta Cella del Tesoro.