La ermita de San Rafael es una construcción de materiales modestos y traza sencilla sobre una cruz latina, con brazos muy poco desarrollados en planta, y ábside plano (1). La nave única está cubierta con bóveda de cañón con lunetos (2) y arcos fajones que apoyan en las pilastras adosadas a los contrafuertes, entre ellos quedan unas capillas de escaso fondo, a excepción a la enfrentada a la entrada (3), que sería ampliada a posterior para alojar el trono de la imagen. El crucero (4) está cubierto con una cúpula de media naranja sobre pechinas y una gran cornisa, y cuya linterna proporciona la luz natural que da mayor énfasis a este espacio.

A la construcción original de la ermita se han adosado otras. La sacristía (5) está junto a la cabecera, en el lado del evangelio, desde ella se accede al pulpito. A los pies del templo hay una capilla, que se ha destinado a museo (6), y la torre del campanario (7) por cuya escalera se sube al coro alto (8), es una tribuna con frontal ondulado y barandilla de hierro, en la que existía un órgano de trompetería.

También se adosó en 1928 el depósito, hoy en desuso, aprovechando el punto más alto del cerro, para abastecer los caños de agua, como el conservado en la Subida de San Rafael.

La imagen de San Rafael fue encargada por Cristóbal Lozano, según su testamento de 1667, al escultor Manuel de Herviás. Según Herbert González (2009) el resultado es una iconografía híbrida a caballo entre las imágenes de San Miguel y San Rafael, para ser un San Miguel, a la imagen le faltaría el demonio vencido a sus pies, para ser un San Rafael tendría que estar vestido de peregrino, el escudo es un elemento conflictivo que podría aludir al carácter profiláctico del Santo Ángel sobre la huerta hellinera a la que protege del pedrisco con su escudo, y el brazo derecho, armado con la espada, puede relacionarse con el escudo de armas de Hellín.

La talla se salvo de ser quemada durante la Guerra Civil junto a su retablo de madera, según se cuenta, gracias a la complicidad del alcalde con uno de los vecinos, quien la guardo en su propia casa. Tras ser recuperada, con la restauración se le colocaron unas alas fijas que sustituyeron a las articuladas (hoy en el museo), que en origen se movían para añadir más teatralidad a las procesiones.

La festividad actual de los “Santos Ángeles Custodios” es el 29 de septiembre, pero en Hellín se ha mantenido la celebración tradicional del 24 de octubre.

Para explicar el origen del barrio de San Rafael, se ha creído que fue la judería de Hellín. Por las relaciones de impuestos que pagaba cada comunidad religiosa, los hellineros judíos fueron más numerosos antes de las matanzas de 1391. Las aljamas existieron por las leyes segregadoras hasta la expulsión en 1492. Y la descripción del castillo en 1592 dice que este cerro era “otro padrastro de otra montaña hacia la parte del norte como a trescientos pasos de la villa”. Según Joaquín Roa (1891) “el barranco llamado del Judío al que la tradición quiere hacer teatro de un auto de fe, que se supone llevado a cabo por la Inquisición contra un judío”. A lo que Ricardo Mateo (1883) dijo que “con la expulsión de los Jesuitas en 1769, se alentaron los pacíficos y honrados hijos de Hellín, algunos se afiliaron a la francmasonería y se negaron a seguir entregando la cédula, muchos nombres se vieron expuestos al público en la Tablilla, y desde entonces se les empezó a llamar judíos, siendo enterrados aparte de los cristianos, en el barranco de los Judíos, en el Cerro de San Rafael.»

El Conjunto Histórico de Hellín, declarado Bien de Interés Cultural en 2007, ejemplifica la evolución del urbanismo en los últimos mil años. Entorno al Castillo, se conserva desde su fundación islámica una trama laberíntica de calles estrechas, retorcidas y con callejones ciegos. Entre ellas surge el primer templo cristiano dedicado a Nuestra Señora del Rosario, reconstruido en los siglos XVIII y XIX. Este núcleo comenzó su expansión en el siglo XVI por plazas como la de la Iglesia de la Asunción y la del Convento de los Franciscanos. Los cerros de San Rafael y San Roque se ocuparon con viviendas sencillas en calles igualmente estrechas que abrazan las ermitas que les dan nombre. Mientras que en las laderas, junto a los huertos, se construyeron casas señoriales, como las viviendas convertidas en el Convento de Santa Clara durante el siglo XVII. Ejemplos del XVIII son la Casa Salazar y la Casa de la Fundación, del XIX es la Casa Falcón, en el barrio de La Portalí, y de principios del XX es el edificio del Museo Comarcal.