Les restes de l'antiga capella de Sant pelegrí, que retratava la Josefina Casadesús Bascompte, es troben al camí a Paller de Baix, una mica abans d'arribar, a la riba dreta del torrent de Paller i al peu del camí; a uns 300 metres del santuari.
Es troba en un lloc en que el terreny fa un desnivell, per tant es va aterraplenar l'espai que ocupa l'edifici per tal d'adaptar-lo.
Es conserva part del mur perimetral que permet veure un edifici de planta rectangular (6,8 x 3,8 m), sense absis i amb un porxo davant de l'entrada.
Els murs estan fets amb pedra sense treballar unida amb morter de calç, fan uns 70cm de gruix.
Es trobava coberta de vegetació fins que l'any 1999 un grup de persones de Bagà es va dedicar a netejar l'entorn deixant al descobert les ruïnes
Mn. Joan Serra i Vilaró (Cardona, 24 de març de 1879-Tarragona, 27 d'octubre de 1969) , l’any 1930 esmenta aquestes ruïnes com pertanyents a un antic temple de Sant pelegrí, i el considera anterior a la construcció del santuari de Paller, és a dir, anterior al segle XVIII
Sembla més probable la seva relació amb la reconstrucció del santuari de Paller de Dalt amb estil renaixentista a finals del segle XVII, com una capella al camí cap al santuari com a lloc de repòs i aixopluc. En construir-se el nou santuari de Paller al lloc dels Banyadors l'any 1747, aquesta capella possiblement perdé la seva utilitat i la pedra i teules d'aquest edifici s'utilitzessin per la construcció de Paller de Dalt.
El 1774 el fuster que treballava a Paller va arreglar un quadre de Sant Pelegrí que havia en aquesta església.
L'any 1999 un grup de voluntaris baganesos va fer una neteja de les ruïnes de Sant Pelegrí.
Evitant els col·lapses de tràfic en aquesta país mancat d’infraestructures viaries, de forma esglaonada veniu al Berguedà.