La ville de Saint-Ursanne recèle un ensemble monacal composé d’une collégiale, d’un cloître et de l’ancienne église Saint-Pierre, le tout datant du XIIe siècle. Après la Révolution, l’église est affectée à diverses utilisations et démolie en 1898.
Ce bâtiment, reconstruit en 1982, abrite aujourd’hui les collections du musée 
lapidaire. «Par son architecture et son volume, le musée lapidaire est une reconstruction de l’ancienne église paroissiale Saint-Pierre, indique Lucette Stadler, de l’office de la Culture, du canton du Jura suisse. La reconstitution de l’édifice a été́ réalisée en 1982, sur la base de documents d’archives de la commission fédérale des Monuments historiques, afin de redonner au site l’aspect général qui avait existé́ du bas Moyen Âge au XIXe siècle. »
En 2020, afin de célébrer saint Ursanne mort il y a mille quatre cents ans, Kim En Joong a été invité à réaliser cent quarante tableaux, un par décennie.
L’artiste a souhaité rendre hommage à Alfred Manessier (1911- 1993). Il a, en effet, réalisé en 1948- 1950 aux Bréseux, 
dans le Doubs, les 1er vitraux abstraits, et a été un véritable catalyseur pour l’art du vitrail non-figuratif notamment dans le Jura suisse et une grande source d’inspiration pour le père Kim. Alfred Manessier a également créé l’ensemble des vitraux de Notre-Dame-de-la-Prévôté à Moutier, l’un des chefs-d’œuvre de l’art sacré en Suisse. À l’occasion de cette célébration, la galerie « Le Caveau de Saint-Ursanne » a exposé les maquettes que Manessier a conçues pour cette église, ainsi que celles qui ont précédé la création du vitrail de l’église de Tous-les-Saints à Bâle.
Le bénéfice de la vente des cent quarante œuvres permettra de financer des vitraux en hommage à saint Ursanne. Ils seront installés dans les quatre baies sud du musée lapidaire, l’ancienne église Saint-Pierre, chaque baie étant composée de deux fenêtres jumelles. Les maquettes ont été présentées à Pâques 2021.
