Ayllón se encuentra junto al río Aguisejo, afluente del río Riaza, que nace junto a Grado del Pico. El valle forma parte de una vía natural de comunicación que une las dos mesetas e, históricamente, Aragón y Castilla. La posición de la villa es, por tanto, estratégica, ya que domina también el paso de la Cañada Real Soriana Occidental que une las tierras altas de Soria y La Rioja con Extremadura. Como Sepúlveda, su origen se remonta al pueblo prerromano de los arévacos y también debió formar parte de la línea de fortificaciones musulmanas que defendía los pasos del Sistema Central. Tras la reconquista, aparece como cabeza de una amplia comunidad de Villa y Tierra que se extendía por las vecinas provincias de Soria y Guadalajara. Al igual que Fresno, en el siglo XV pasó a formar parte del enorme señorío de Álvaro de Luna y, después, del de los marqueses de Villena.
El casco urbano de la villa se extiende desde las orillas del Aguisejo a lo alto del cerro donde se levantaba el castillo y donde todavía se yergue, desafiando el paso del tiempo, la torre de La Martina, el campanario de la antigua iglesia de San Martín
Al casco histórico se entra por el Arco de la Villa, la única puerta que se conserva de las tres que tenía el recinto amurallado. Todavía se mantienen en pie parte de los lienzos que protegían la parte baja de la villa. Nada más entrar en ella nos sorprende la imponente fachada plateresca de la casa-palacio de los Contreras, construida a finales del siglo XV sobre otra más antigua que fue residencia de don Álvaro de Luna. Otras casas hidalgas destacables con heráldica en su fachada son las del Obispo Vellosillo (actual museo y biblioteca municipal), la del Águila y la de la torre.
La Plaza Mayor con su soportales y la fuente que se hizo para conmemorar el IV Centenario del Descubrimiento de América, es una de las mejor conservadas de Castilla. En un extremo se encuentra la iglesia románica de San Miguel, levantada sobre una construcción más antigua y a la que en el siglo XVI se añadió el pórtico con balcón. Junto a ella está el edificio del Ayuntamiento, que conserva la fachada de la que fue casa-palacio de los marqueses de Villena, señores de la villa. La parroquia tiene su sede en la iglesia de Santa María la Mayor, un impresionante templo barroco construido a principios del siglo XVIII sobre el que se levanta la que posiblemente sea la más monumental de las espadañas segovianas. De las otras parroquias desaparecidas, todavía se conservan importantes restos de la de San Juan y la portada de San Nicolás en el Cementerio Viejo. También es notable el conjunto de escudos heráldicos que se encuentran debidamente catalogados en las normas urbanísticas del municipio.
En cuanto a la arquitectura conventual, Ayllón cuenta con dos antiguos conventos, hoy dedicados a otros usos: el de la Purísima Concepción, de monjas concepcionistas franciscanas que lo habitaron hasta hace unos pocos años y hoy convertido en hotel, y, a las afueras, el San Francisco, también dedicado a la celebración de eventos.
Además de la villa de Ayllón, forman parte del término municipal las siguientes poblaciones.
- Estebanvela
- Francos
- Grado del Pico
- Saldaña de Ayllón
- Santa María de Riaza
- Santibáñez de Ayllón
- Valvieja
