Agus an dún Normannach adhmaid agus cré a bhí ann roimhe scriosta aige, d’aistrigh an Tiarna Rhys a chúirt anseo i 1171. D’atógáil sé an caisleán le cloch – an chéad chaisleán cloiche a thóg Breatnach riamh. Rinne sé an éacht sin a cheiliúradh leis an gcéad Eisteddfod a tionóladh riamh i 1176. Rinneadh an caisleán agus an teach mór Seoirseach a tógadh laistigh dá bhallaí i 1808 a athchóiriú agus osclaíodh don phobal é in 2015.