La felice posizione di Scrofiano, adagiato sul declivio del Colle Alto - uno dei tanti colli che demarcano il lato occidentale della Valdichiana - circondato da ulivi e viti e protetto da alture, rende ragione dello sviluppo che questo centro ebbe nel XII-XIII secolo.

La nascita del borgo fortificato e quindi di un castello, ricordato fin dall'anno 1177, è legata alla potente famiglia dei Cacciaconti alla quale questo appartenne fino alla metà del XIII secolo.

In questa epoca, nell'ambito della politica di espansione territoriale attuata da Siena che portò alla sottomissione di gran parte dei castelli della Valdichiana, Scrofiano venne inserito nel contado senese ed assunse un certo rilievo amministrativo ed istituzionale.

Verso la metà del tredicesimo secolo, come gli altri paesi, il castello si trasforma in "terra murata" con gli stessi canoni urbanistici visti altrove, anche se in questo caso meno facilmente leggibili data la conformazione del terreno. Il paese ha subito notevoli interventi già a partire dal quindicesimo secolo e la cinta di mura è, per lo più, scomparsa nelle costruzioni che le si sono sovrapposte.

Tratti della cinta muraria, con base a scarpa e cordone superiore, sono visibili sul lato sud-est intervallata da due torri, di cui una a base cilindrica e l'altra quadrata, e da due porte delle tre originarie.

Le mura furono erette dai senesi nel 1271 e successivamente ricostruite, disegnando un circuito più ampio, dopo che il castello di Scrofiano fu devastato nel 1323 dalla compagnia di Deo Tolomei ribelle alla Repubblica di Siena. Sopravvive  la torre del cassero risalente al XIII secolo e quindi appartenente al primo nucleo di mura.

Oggi, tutto l'insieme, si mostra come una perla incastonata nella favolosa campagna senese.