Sant Pere d’Albanyà és un dels primers monestirs documentats d’entre els que sorgiren al sud dels Pirineus amb el domini carolingi, fruit de la colonització monàstica benedictina. Fou fundat pels volts de l’any 820 pel seu primer abat, Dòmnul. Poc després passà a dependre de l’abadia de Santa Maria d’Arles, al Vallespir. Consta que ja hi era agregat l’any 869.
S’ignora quan s’extingí la comunitat monàstica d’Albanyà. Al segle XIV, Sant Pere d’Albanyà ja era una església parroquial. L’església és romànica, d’una nau, transsepte o creuer força destacat i tres absis semicirculars, amb els laterals molt poc desenvolupats. Les voltes són de canó. És una mostra de l’arquitectura religiosa pròpia dels comtats nord-orientals catalans de la segona meitat del segle X o principi del segle XI. Ha quedat encara més palès amb les obres recents de restauració, sobretot amb la descoberta del finestral d’arc ultrapassat i molt obert situat sobre l’arc presbiterial. La façana de ponent, amb porta d’arcs en degradació, finestral, motllures ornamentals i el campanar d’espadanya, correspon a una reforma del segle XII.
Malgrat el seu estat força degradat i tenir moltes parts destruïdes, es pot deduir que la petita làpida que es troba a la façana de Sant Pere d’Albanyà conté un epitafi escrit en català, segons el qual un personatge anomenat R. de Serrat (R. DESSARAT), que morí el 8 de gener de 1360, deixà establert un aniversari en aquesta església.