C'è un'antica via di collegamento nella valle dell'Asso, prima etrusca e poi romana; e su questa via nel IV secolo nacque Pieve a Pava, primo insediamento della zona, cui seguirono Monterongriffoli e Lucignano d'Arbia. San Giovanni nasce e si sviluppa intorno al castello, di cui abbiamo la prima documentazione nel 1151, quando Pantalonieri di Forteguerra lo cede al Comune di Siena. Il rapporto con Siena è una costante nelle vicende storiche di San Giovanni d'Asso e del suo castello: nel 1256, per esempio, è Orlando Buonsignori, rappresentante di antica casata senese, a comprare la giurisdizione del maniero, mentre alla fine del XIII secolo le autorità comunali senesi operano la relazione delle acque nel Piano dell'Asso, segno di un importante intervento urbanistico e ambientalistico, per regimare i fiumi e garantire maggiore fertilità ai terreni. Il Castello fu ceduto agli inizi del '300 alla famiglia nobile dei Petroni e, infine, alla metà del '400 la Repubblica di Siena incluse San Giovanni d'Asso all'interno del suo territorio.

San Giovanni d'Asso ha una bella struttura urbanistica omogenea, capace di fornire un suggestivo esempio di come attorno a un castello nasca e si sviluppi un borgo medioevale.
Oltre al castello interessanti sono anche gli edifici a carattere religioso, con chiese di notevole valore storico e artistico: la pieve di San Giovanni Battista, risalente ai primi decenni del XIV secolo, e la Canonica di San Pietro in Villore, di pregevole fatture, con elementi ornamentali sulla facciata e una cripta a quattro navate con volte sorrette da agili pilastri.
Il Palazzo di San Giovanni d'Asso, attuale sede del Comune, eretto a più riprese tra il XII e il XIII secolo è edificio in cotto dalla pianta articolata, con all'interno un cortile loggiato, presenta una facciata scandita da più ordini di aperture monofore e bifore, alcune con la colonnina centrale in marmo e altre con la tipica spartizione guelfa.

Nel territorio di San Giovanni d'Asso, insediamenti urbanistici e opere d'arte si inseriscono in un contesto a misura d'uomo e in un ambiente intatto, nel quale la tipicità delle produzioni agroalimentari (dall'olio al vino, dai formaggi ai salumi) caratterizza una civiltà antica in cui permangono radicate abitudini e forti tradizioni popolari. In questa situazione, affetta da una malattia cronica chiamata spopolamento, con la soglia degli abitanti scesa sotto quota mille, San Giovanni d'Asso cerca di far rivivere la sua antica civiltà con appuntamenti come l'Ottavina, festa religiosa del periodo pasquale, o, per rivitalizzare l'economia e le risorse del territorio, con fortunate iniziative quali la Mostra mercato del tartufo bianco delle Crete senesi.