Els primers habitants del castell que coneixem són la família Humbert de Sesagudes o del Montseny, que l'habitaven durant el segle XI. A finals d'aquest segle el castell era possessió de Guisa de Sesagudes , casada amb Bernat Gausfred. Els seus descendents van prendre el nom de senyors de Palafolls.

El castell estava dins el comtat, posteriorment vescomtat, de Girona. Per això en 1113, Ramon Berenguer va cedir l'alta jurisdicció del castell als vescomtes de Girona, que passaren a dir-se Cabrera, mentre que la baixa jurisdicció seguia en mans dels Palafolls. Aquesta divisió de poders va causar més d'un conflicte, especialment importants en el segle XIII.

Guillem de Palafolls es va vendre el castell l'any 1381. El va comprar Pere III el Cerimoniós, que un any més tard el va vendre a Bernat IV de Cabrera, aconseguint així el control total de la jurisdicció del castell.

Durant la guerra dels Remences el castell va ser ocupat  per les tropes del navarrès Bertran d'Armendaris, que inicialment era partidari del príncep de Viana. En 1471 es va canviar de bàndol i per això el monarca li va confirmar com a senyor de Palafolls. A la seva mort el castell passà a mans de Fradique Enríquez, almirall de Castella, que estava cassat amb Anna de Cabrera, hereva del vescomtat.

Luís Enríquez de Cabrera va vendre els vescomtats de Cabrera i Bas a Francesc de Montcada i de Cabrera, comte d'Aitona i d'Osona i senescal del Regne d'Aragó, l'any 1574.  Un segle i mig més tard, en 1722, el castell va passar a mans dels ducs de Medinaceli, pel casament de la darrera membre de la família Montcada amb l'hereu del ducat castellà. Fins l'any 1861 els Medinaceli van reclamar drets hereditaris sobre Palafolls, però finalment en 1880 el castell s'incorporà als bens de l'Estat.

El castell actual és el fruit de diverses ampliacions que es van anar fent des de finals del segle X, moment de la seva construcció, fins ben entrat el segle XIV, en que es fa la gran ampliació vers ponent.

Té planta aproximadament rectangular, amb dos espais ben diferenciats: el recinte jussà i el sobirà.

El sector sobirà té planta poligonal irregular. Es troba situat en el sector sud-est.

S'accedeix a ell per una única porta, formada per un arc de mig punt adovellat i que tenia un rastell amb moviment vertical, habituals en la segona meitat del segle XIV.

Tot just creuem la porta, a la nostra esquerra podem veure les restes d'una sala allargada, dividida en dues naus mitjançant uns arcs, que encara es conserven.

Al seu damunt s'alçava un gran saló o tinell, que tenia coberta de fusta recolzada en dos arcs de diafragma. En el mur nord encara es conserva l'arrencada d'un d'aquests arcs.

Prop de la porta d'entrada trobem l'antiga cisterna. Es tracta d'una estança coberta amb una volta de canó. No es coneix la utilitat de les mènsules que hi ha en els murs laterals.

Com podeu veure en la imatge anterior, el castell de Palafolls tampoc s'ha lliurat dels atacs dels brètols, que omplen els murs amb pintades que no tenen res d'artístiques. Quina poca autoestima té aquesta gent que necessita posar el seu nom sobre aquestes pedres carregades d'història per sentir-se important! És una veritable llàstima.

A la sortida de la cisterna trobem una escala, reconstruïda modernament. Aquesta ens condueix fins l'església del castell.

Aquesta ha estat profundament reconstruïda. Va ser construïda a finals del segle XII o principis del XIII.

Està formada per una sola nau, coberta amb volta de canó apuntada i capçada a l'est amb un absis semicircular en el que s'obre una petita finestra.

L'absis no té planta completament semicircular per la part exterior, ja que està integrat en la muralla.

En un sector més elevat trobem la resta de dependències del recinte sobirà, les que es consideren més antigues. S'accedeix a elles per5 una petita porta, refeta en les restauracions del segle passat.

En aquest sector es conserven les restes del que podria ser una torre. En els seus murs trobem carreus disposats de tal manera que ens recorda el Opus Spicatum. També conserva dos merlets en la part superior d'un dels seus murs.

Aquesta estança tenia una finestra amb dos bancs, del tipus anomenat "festejador", que es correspondrien a un afegit posterior. Malauradament l'estat de conservació és molt deficient.

La resta de dependències d'aquest sector estan totalment enrunades, conservant-se només alguns fragments de murs en peu.

El recinte jussà s'estén a l'oest del recinte sobirà. Està centrat per un gran pati d'armes del segle XIV.

En el seu extrem més occidental s'alça una gran torre, que encara conserva part de la volta de canó amb que es cobria el nivell intermig.

El flanc de ponent està format per diversos baluards, que protegien al castell, especialment al recinte sobirà, d'un atac directe.

També és d'aquesta època un pont llevadís que estaria en el sector més al sud del recinte sobirà i protegit per una barbacana o cos avançat. Les tropes enemigues eren molt vulnerables en aquest sector, ja que havien de mostrar el seu flanc dret, que recordem no estava protegit pels escuts, ja que aquests es portaven en la mà esquerra.