Tra il X e l'XI secolo Staggia compare come una curtis fortificata della contessa Ava, fondatrice della vicina Badia a Isola, e dei suoi figli Tegrimo e Berizio.
Successivamente i nobili di Staggia (o Soarzi) divennero una delle maggiori consorterie feudali della Valdelsa, con possedimenti ubicati tra l'Elsa e il suo affluente Staggia.
Spesso coinvolti nelle lotte tra Firenze e Siena, i Soarzi conobbero la loro maggior fortuna nella seconda metà del XII secolo, ma nel successivo iniziò la loro decadenza, mentra andava sviluppandosi il borgo nato ai piedi del castello.
La fortuna del borgo fu senz'altro dovuta alla via Francigena che, a partire dal XIII secolo, lo interessò direttamente con uno dei suoi nuovi rami. Alla fine del Duecento i Franzesi, originari del Valdarno Superiore e arricchitisi in Francia con le mercature, comprarono il Castello di Staggia e lo trasformarono in un originale palazzo fortificato. Quando, intorno alla metà del Trecento, fallì la compagnia commerciale dei Franzesi, il palazzo fu acquistato dalla repubblica fiorentina per la non trascurabile somma di 18.000 fiorini d'oro (1361).

Divenuto avamposto fiorentino contro Siena, Staggia si trovò spesso coinvolta in imprese di guerra: per questo motivo nel 1373, fu potenziato il circuito murario e protezione del borgo. Le mura, raccordate con la Rocca, furono ulteriormente rafforzate nel 1431, occasione nella quale vi fu invitato Filippo Brunelleschi (ma non è dato a sapere se e a quali lavori egli provvedesse), oggi si presentano pressoché intatte, salvo due brevi interruzioni, e sono intervallate da torri quadrate o poligonali che intercettano il cammino di ronda posto all'interno, del quale esistono ancora le mensole di sostegno in pietra. All'interno il borgo si è formato sul percorso della via Francigena, che, a nord, si diramava verso la Porta Fiorentina e la Porta a Lecchi, tuttora esistenti, protette dalla vicina Rocca, vera fortificazione nella fortificazione. La porta meridionale, verso Siena, è invece scomparsa e costituisce la perdita più importante avutasi nelle fortificazioni.

L'antico Castello dei Soarzi, divenuto poi palazzo-fortezza dei Franzesi ed infine Cassero della cittadella, si presenta a pianta grossomodo quadrangolare, con due torrioni cilindrici agli angoli del lato verso il borgo ed una quadrata all'interno. La parte basamentale di quest'ultima è forse l'unica testimonianza del Castello dei Soarzi per i suoi caratteri della fine del XII secolo.
La parte della Rocca compresa tra le due torri cilindriche, oltre a queste, rappresenta invece quanto rimane del palazzo costruito dai Franzesi all'inizio del Trecento. Lo si deduce da certi particolari architettonici riferibili a questo periodo, che si possono osservare in portali e finestre e nei resti del grande caminetto ancora visibile nella parete interna.
Sebbene l'abitato conservi il carattere del borgo medioevale, non molti sono gli elementi architettonici venuti in luce riferibili a questo periodo.