Notizie su Sarteano sono abbondanti a partire dal 1038, quando il castello appare residenza e dominio di una famiglia comitale discendente da un Farolfo, la stessa che fondò poco dopo Spineta. Figura di rilievo nella casata nel XII secolo fu il conte Manente di Pepone, lo stesso che cedette a Siena una parte del castello di Radicofani e che nel 1178 ricevette un privilegio del Barbarossa e fu in contrasto con il vescovo di Chiusi per la giurisdizione sulla città e il suo territorio. E' interessante notare che fin dal 1171 il "popolo" di Sarteano era rappresentato da un collegio di consoli, mentre l'intervento dei senesi a sanare un contrasto tra questi e le abbazie di Spineta e Coltibuono, indica l'interesse di questa città ad essere presente nella zona.

All'inizio del Duecento (1229) la pressione che Orvieto esercitava tra la Val d'Orcia e la Valdichiana fu tale che Sarteano si trovò coinvolto in una guerra tra questa città e Siena. Dopo alterne vicende, con la sconfitta dei senesi nel 1233 e la pace stipulata due anni dopo, il castello entrò nella sfera politica orvietana.
Dopo, declinando la potenza di Orvieto, Sarteano passò sotto il controllo di Perugia, ma nel 1379, dopo un'altra parentesi orvietana, entrò nell'ambito della sovranità senese, con atto di dedizione alla Repubblica. In questo erano previsti la consegna del Cassero ai senesi e l'elezione di un podestà di un cittadino senese. Nel 1467 si arrivò ad un'accomandigia perpetua, mentre due anni dopo si provvedeva da parte delle autorità cittadine al rafforzamento delle difese del cassero. Nel quadro del potenziamento delle difese promosso da Siena, nel 1528 sembra che Sarteano sia stato visitato da Baldassarre Peruzzi, che forse redasse un progetto per la loro ristrutturazione.

Dal punto di vista urbanistico il castello e l'abitato di Sarteano si sono sviluppati intorno all'antica Rocca, donata ai Fanelli dal granduca Leopoldo, costituita da un Cassero a forma di alto torrione quadrangolare, inserito sull'angolo occidentale di un recinto scarpato ai cui angoli opposti è rafforzato da torri circolari.
La rocca ha avuto verso levante altre cinte di mura intervallate da torri circolari. Dal circuito della rocca si staccano le mura che racchiudono l'abitato con andamento irregolare, intervallate da torri di varia forma. Esistono ancora le tre porte, più o meno rifatte, specialmente quella di Mezzo.
Lo sviluppo urbanistico è avvenuto a forma di ventaglio sulle pendici meridionali del colle della rocca, in modo che si hanno alcune strade che si sviluppano in lunghezza seguendo le isoipse, come quella, la principale, che va da Porta Monalda a Porta Umbria, e vicoli di raccordo, sdruccioli e scale che salgono verso la rocca, creando un ambiente tipicamente medioevale.