Eretta nel 1769 su progetto dell'architetto Francesco Collecini (1723-1804) sulla preesistente "Torretta del Pernessà", la Castelluccia, recentemente restaurata, è un fortino a pianta ottagonale su tre ordini, protetto da un fossato, con corsi d'acqua e ponti levatoi.
Nata come struttura destinata alle esercitazioni militari del piccolo Ferdinando IV, la costruzione si è trasformata in epoca ottocentesca in luogo di delizie e di svaghi: il castello è divenuto un ameno sito di intrattenimento, abbellito da un belvedere e da un giardino, mentre le caserme circostanti sono diventate padiglioni per la cucina, il pranzo e il caffè.
In un angolo del giardino si individua un "cupolino cinese", realizzato secondo la moda del tempo, mentre nella parte antistante alla Castelluccia si possono ancora ammirare splendidi esemplari di magnolie, araucarie e palme, piantati all'epoca a decoro del luogo.