Damunt d’un turó s’aixeca un edifici massís i d’alçada considerable, el castell de Rajadell.
En temps de la Reconquesta, la Marca Hispànica necessitava controlar la frontera que delimitava el territori cristià del musulmà. La vall de la Riera de Rajadell, doncs, esdevenia un pas natural clau per la defensa i control d'aquesta frontera i el castell de Rajadell fou construït per cobrir la necessitat de defensa de la vall. Altres castells com el de Castellar, Boixadors i les Torres de Fals van permetre, també, poder defensar el territori de l'enemic.
A partir del segle XIII la història del castell anà lligada al llinatge de la família Rajadell, senyors del terme que participaren en guerres com la de Provença, Navarra, Almeria, Sardenya i Mallorca. En el transcurs de la guerra de la Generalitat contra Joan II (l’any 1471) el castell i l’església tingueren molts desperfectes i van quedar inactius durant un llarg període. Al segle XVI els Rajadell es queden sense legítim hereu i l’any 1515 els Cruïlles, que més tard s'ajuntarien per llaços matrimonials amb els Eimeric, van comprar el senyoriu. Al segle XVII, l'hereva dels Cruïlles-Eimeric, Anna, es casà amb Domenico de Pignatelli. A partir d'aleshores, els Pignatelli serien els senyors del castell, tot i residir a Nàpols. A finals del segle XIX, la Princesa de Belmonte, propietària del castell, vengué l'immoble al manresà Francesc Pons.
Construït damunt d'un turó, al costat de la riera i el nucli antic, el castell forma un conjunt de tres cossos. La primera documentació escrita que en trobem data de l’any 1063, tot i que podem dir que correspon al gòtic (un dels murs i elements decoratius, que podrien ser dels segles XIII o XIV) i al segle XVII. És difícil, però, establir quines parts corresponen a cada moment perquè ha estat reconstruït diverses vegades. Juntament amb l’església, fou l’origen del poble de Rajadell. L'edifici principal, el més alt, s’hi conserven encara cambres de les diferents etapes habitades: la masmorra, la sala d’armes, les alcoves, l’estable, la cuina, les habitacions, el menjador, etc. A la part nord del conjunt trobem la casa que era habitada pels masovers i una torreta defensiva que mira a ponent. A finals del segle XIX els Pons reparen l'edifici i el moblen. No obstant, durant la guerra civil el castell va ser requisat pel comitè revolucionari i es van perdre la totalitat dels objectes de valor que hi havia.