En la descripción de 1592 para Felipe II se dijo que “la fortaleza de la villa de Hellín esta edificada en un monte en lo alto y cumbre del eminente a la de la villa la cual rodea con su población el dicho monte por las partes de levante y de mediodía y llegan las casas por la ladera del monte hasta cerca de las murallas de la fortaleza y a la parte del poniente no tiene población porque es una peña tajada – hoy llamada Peña Caída (6) – de mucha aspereza que baja hasta el llano y por delante desviado de la peña tajada está como a quinientos pasos el cerro que llaman de Santa Bárbara, desde donde se puede batir la dicha fortaleza, aunque por aquella parte tiene tan mala arremetida que con dificultad se le podrá entrar. Tiene asimismo otro padrastro de otra montaña hacia la parte del norte – hoy, cerro de San Rafael – como a trescientos pasos de la villa, de donde asimismo le pueden batir y a la parte de la villa que esta en aquella ladera de donde se le podrá entrar con más facilidad. Toda la cerca y muralla (1) de la fortaleza es por la mayor parte de tapiaría, que llaman de hormigón, la cual cerca tiene algunos torreones terraplenados como a veinticinco pasos unos de otros, y hacia la parte del poniente hay una torre (3) que pega a la muralla de mayor altura que las demás, y la puerta (2) de la dicha fortaleza esta hacia la parte del mediodía – hoy, junto al Santuario de Nuestra Señora del Rosario – entre dos torreones, el uno de ellos enhiesto (levantado) y el otro caído hasta el terrapleno. Dentro de la cual fortaleza hay cinco aljibes (4) y en la plaza de la dicha fortaleza hay una loma de peña viva…y dentro de esta primera muralla, que esta referida, hay otra en la dicha fortaleza desviada de la primera como a diez pasos, la cual muralla está con sus torreones que llaman el homenaje (5), y dentro de esta muralla hay una bodega grande debajo tierra, que será del tamaño del patio del dicho homenaje, que le llaman mazmorra. Y esta muralla y torreones que llaman el homenaje, que cerca la dicha mazmorra, es asimismo labrada de hormigón y está entera sin estar arruinado el dicho edificio, y aunque la muralla y primera cerca de la fortaleza está por la mayor parte hundida y muy mal parada, los alcaides que la han tenido a su cargo le han cerrado los portillos con algunas tapias de tierra. Para…recercar dicha fortaleza y no se le pueda entrar si no por la puerta…Y afirman los más antiguos de la dicha villa que no hay renta alguna situada para los edificios y reparos de dicha fortaleza, y que el alcaide no tiene obligación de repararla, y respecto de estar tan arruinada la dicha fortaleza y no haber en ella casa habitable, no ha residido el dicho alcaide en ella de muchos años a esta parte, ni ha tenido teniente que haya vivido en la dicha fortaleza, y conforme al sitio y comarca que la fortaleza de la dicha villa de Hellín tiene, y que fue necesaria la conservación de ella cuando el Reino de Granada era de moros, y que así, para la ocasión que en aquellos tiempos se ofrecieron, como para las que después se podrían ofrecerse, entiende ser fortaleza de importancia…”

En los últimos siglos el espacio de la torre del homenaje fue ocupado por viviendas. En 1928 un conjunto de estas casas fue reemplazado por el depósito de agua (5), hoy en desuso. En la toponimia se ha conservado la memoria de algunas de las partes de la fortaleza como la calle Foso (7), donde se inicia la calle Castillo (8), que se consideraba la entrada a la fortaleza pero, como se ha descrito, la puerta estaba al sur. Los nuevos accesos (9) se crearon en la década de 1990, tras demoler varias viviendas. Durante las mismas obras se creó la plaza (10), desde donde se tienen las mejores vistas del casco antiguo de Hellín

El Conjunto Histórico de Hellín, declarado Bien de Interés Cultural en 2007, ejemplifica la evolución del urbanismo en los últimos mil años. Entorno al Castillo, se conserva desde su fundación islámica una trama laberíntica de calles estrechas, retorcidas y con callejones ciegos. Entre ellas surge el primer templo cristiano dedicado a Nuestra Señora del Rosario, reconstruido en los siglos XVIII y XIX. Este núcleo comenzó su expansión en el siglo XVI por plazas como la de la Iglesia de la Asunción y la del Convento de los Franciscanos. Los cerros de San Rafael y San Roque se ocuparon con viviendas sencillas en calles igualmente estrechas que abrazan las ermitas que les dan nombre. Mientras que en las laderas, junto a los huertos, se construyeron casas señoriales, como las viviendas convertidas en el Convento de Santa Clara durante el siglo XVII. Ejemplos del XVIII son la Casa Salazar y la Casa de la Fundación, del XIX es la Casa Falcón, en el barrio de La Portalí, y de principios del XX es el edificio del Museo Comarcal.