Al cau del Duc d'Ullà hi han aparegut importants vestigis de poblament prehistòric classificables dins el paleolític inferior i mitjà.

L'any 834 Ullà és documentat amb el nom de: OLIANUS.

L'any 1835 s'extingí la col·legiata d'Ullà, en l'època de les desamortitzacions.