El temple ha estat sempre la capella del castell. És d'una nau amb absis semicircular. Té volta apuntada i l'edifici està lliure d'arrebossats. Ha de ser considerada de finals del segle XII o principis del XIII.

Hi ha una capella a cada banda de la nau i una sagristia al costat de tramuntana (s.XVII-XVIII).

Sobre l'absis hi ha una torre de defensa proveïda d'espitlleres per a arma de foc.

En el seu interior hi ha una imatge de Sant Galderic, patró dels pagesos catalans i patró municipal, feta amb fusta de xiprer l'any 1987.

Antigament el recinte fortificat de la Tallada tenia set torres, en l'actualitat hi ha la de l'església, tres més de circulars (Can Japot de Dalt i antiga Rectoria) i dues de rectangulars (Plaça Constitucional i Portalet). La torre que falta es creu que estava situada on avui hi ha el carrer que passa per davant de l'església, a la banda de tramuntana.

El castell era de domini dels comptes d'Empúries segons textos dels segles XIII i XIV. El 1309 fou un dels castells que Ponç V lliurà en el casament del seu fill Malgaulí amb la princesa Elisabet de Sicília. Sempre ha estat integrat a la baronia de Verges que al 1399 el compte Joan va vendre al seu germà Pere per 11000 sous. Aquest al morir sense descendència la deixà a la seva esposa Joana de Rocabertí. Al 1418 passà al seu nebot el vescomte Dalmau. Al 1454 l'heretà el seu fill Martí-Joan, primer dels Rocabertí i baró de Verges. Al 1587 la baronia de Verges i el castell de La Tallada van ser incorporats a la corona com la resta del comtat d'Empúries que ja n'era des del 1402.

Actualment el Passeig de l'Església ocupa el que antigament havia estat el fossar del castell o els valls. També pot trobar-se l'antiga porta d'entrada al castell (Portalet) que en fotografies de principis del segle XX s'aprecia perfectament