Музей Жямайтийской епархии расположен в здании бывшей Жямайтийской духовной семинарии, построенном в стиле позднего барокко примерно в 1770 году.

После закрытия Вильнюсского университета администрацией Царской России в XIX веке, Варняйская духовная семинария и Вильнюсский Медицинский факультет остались единственными в Литве высшими школами. Здесь работали и учились довольно много выдающихся личностей, которые позднее стали известными в сферах литовской культуры, искусства, науки и политики.

Основная экспозиции музея — наследие истории и художественного искусства Жямайтийской епархии. В музее проводятся тематические экскурсии: «Обзор истории Жямайтийской епархии», «Литературный Варняй», «Деятельность епископа М.Валанчюса в Варняй», «Церковная архитектура и изобразительное искусство жямайтийцев в XVI-XIX веках», «Варняй — культурно-духовный центр XVI-XIX веков». Также в музее организуются встречи с известными людьми, проводятся лекции и концерты.