幽居寺是北齊時(shí)期的重要寺院。寺由北齊官寺定國寺僧標禪師與北齊定州刺史、六州大都督、趙郡王高叡「同舍異珍，建斯靈宇」。先由僧標草創(chuàng )寺宇，繼有高叡擴建創(chuàng )新，增筑靈塔。寺以塔為中心，是中軸在線(xiàn)的主體建筑，且保存至今。塔平面為方形，創(chuàng )建于北齊，重修于唐代。塔身建于簡(jiǎn)樸的方形臺座上，每邊長(cháng)五．二三米，密檐七層，高約二十三米。第一層較高，南面辟半圓形石拱門(mén)。門(mén)框由整條石材雕琢而成，邊框及門(mén)楣上滿(mǎn)布線(xiàn)刻蓮花化生童子、云龍、金翅鳥(niǎo)及忍冬紋飾；周飾波斯聯(lián)紋。整幅圖案的云龍紋雕刻，云氣飛動(dòng)，龍神矯矢，展示了高超的北齊藝術(shù)風(fēng)格。塔身自第二層以上每層的高度依次遞減，外部輪廓也逐漸內縮，使塔體外形呈方錐形，顯得優(yōu)雅簡(jiǎn)樸，挺拔穩固，是北朝磚塔的典型遺存。

據《靈壽縣志》記載：北齊趙郡王高叡，歷選太行勝概，得朱山之陽(yáng)，建祁林寺（即幽居寺） 。置僧舍二百余間，擇行僧二千余眾居之。齊亡，寺亦荒廢。繼盛于元大德間。

經(jīng)過(guò)一千四百多年的變遷，寺院早已廢圮，但卻較完整地保留了七級方磚塔一座及一部分附屬文物，包括古碑四通（北齊碑二、元碑二）、以釋迦、阿閦、無(wú)量壽等三佛（高叡為亡父、母、兄、妻及自身造）為主的漢白玉石佛像二十一尊和石經(jīng)幢一座。這些現存佛教遺跡，都具有重要的歷史和文物價(jià)值。

高叡為北齊高祖、神武帝高歡弟趙郡王高琛之子，《北齊書(shū)》及《北史》皆有傳。據其本傳記載，高叡（公元五三六——五七O年），小名須拔，三歲父高琛死，為高歡鐘愛(ài)，養于宮中，恩同諸子。十歲喪母，母為魏女侍中、華陽(yáng)郡長(cháng)公主元氏。東魏興和（公元五三九——五四二年）中，襲爵南趙郡公。文宣帝高洋即位，叡進(jìn)封爵為趙郡王，邑一千二百戶(hù)。

天保七年（公元五五六年） ，以「使持節、散騎常侍、都督定州諸軍事、撫軍將軍、儀同三司、定州刺史、六州大都督、趙郡王」的身分，造漢白玉石三佛像。八年（公元五五七年）被召赴鄴。后受任防衛長(cháng)城內外。

皇建元年（公元五六0年），孝昭帝高演臨終，高叡受托顧命，奉迎世祖于鄴，以功拜尚書(shū)令。世祖死，高叡與馮翊王潤、安德王延宗及元文遙等人，參奏當朝權臣、鮮卑人和士開(kāi)，被太后殺于雀離佛院，時(shí)年三十六歲，死無(wú)贈謚。

高叡崇佛，從其所造寺、像可見(jiàn)一斑。傳載數母病逝，他居喪盡禮，「持佛像長(cháng)齋（齋戒禁食），至于骨立（形容消瘦，如皮包骨），杖而后起（需拄杖方可立起）。

該碑立于幽居寺塔外東南角，高近二米，寬一米，三十八行，每行六十四字，凡三千余字。碑額題〈大齊趙郡王口口口之碑〉十字，正書(shū)「天保八年（公元五五七年）二月十五日立」。碑文詳述定國寺禪師僧檦創(chuàng )始該寺，趙郡王任定州刺史時(shí)拓而新之，更建靈塔的史實(shí)。對當地的地貌、形勝、傳說(shuō)和佛教信仰，該地與北齊帝室的關(guān)系等，都有所記載。碑文用典馴雅工仗，行文繁麗多致，可資提供不少訊息。

據〈趙郡王高叡修寺碑〉：「又復運藍田之玉，采荊山之珍，鏤彈變化，圖窮相好」，可知該寺造像無(wú)論是選料還是雕鏤，都極精工。這從現存遺物得到了充分的證明。其中，〈趙郡王修寺碑〉碑額上部鑿佛龕，內浮雕釋迦坐像一尊，碑陰上部佛龕浮雕釋迦、多寶佛并坐像。碑首鑿佛龕，是北朝寺廟碑的通例。寺內現存漢白玉造像，共計二十一尊，其中十八尊藏于塔內底層，三尊立于塔外。從造像紀年刻銘看，塔由三尊大型造像為高叡天保七年雕造，塔外大型造像為趙郡王國常侍房紹興于天保十年雕造。這批造像均為北齊雕刻藝術(shù)的傳世之作。

塔內三尊大像，為幽居寺塔供養的主佛，正中為釋迦牟尼佛，右為阿閦佛，左為無(wú)量壽佛。三尊造像大小相近，高者一。四五米，低者一.三米，藝術(shù)作風(fēng)統一，均為北齊造像杰作。頭雕低平磨光肉髻，面相豐滿(mǎn)，雙目微啟，神態(tài)安詳。身著(zhù)偏袒右肩袈裟，雙手作說(shuō)法印或施無(wú)畏、與愿印，手腕戴鐲，兩腿結跏趺坐。這三尊主佛出自皇室高氏之手，彌足珍貴。該寺元代圣旨碑，還稱(chēng)為「三尊佛祁林院」，三尊佛成為寺院的代稱(chēng)，可見(jiàn)其影響之深遠。塔內其它小型造像，現均崁于底層三面墻壁上。多為坐佛像，菩薩像僅一尊。高度在二十——四十八厘米之間。其造型多與三尊大佛相近，一尊為善跏趺坐佛，雙手作施無(wú)畏、與愿印，兩側夾侍二弟子。菩薩作右舒相坐式，坐于細長(cháng)束腰圓座上，雙手作施無(wú)畏、與愿印。這些造像，大多雕刻技藝水平很高，造型特點(diǎn)顯著(zhù)，可謂北齊造像中的上乘之作。