被稱為“巖居陋室”的祖師洞，是五磊寺著名的名勝古跡之一，位于五磊山牛角峰巔。相傳三國吳赤烏年間，印度來華高僧那羅延尊者在此洞中靜修。原來有一只粗制石香爐，現(xiàn)已散失，僅存洞口所壘之石塊。古人有“窮巖絕壑開新基，牛角峰巔放晚參。催落山泉作鐘磬，祖師洞巖云有聲”之句，把個祖師洞描繪得有聲有色。
祖師洞朝北，須由望海亭旁攀援而上，洞邊巖石蒼秀，形如城門，口部苔痕濃綠，藤蔓四布，洞底平坦，容人直立；崖頂古樹虬枝相互纏繞，其中有一古虬老根，斜抱巨石，凌空險掛，勢欲墜卻甚牢固，洞左突出一鐘崖，敲之嗡嗡聲縈繞。當晨霧冉冉升起或霏雨迷漫時，洞前一片乳白色，形成云疊霧、霧繞云的景色，襯上洞旁茂木成林，秀竹搖曳，即成一幅濃墨重彩的丹青。而最精致的，當數(shù)洞頂右側(cè)，有數(shù)個壘石天窗，每當陽光斜照時，光線如集束金針直射洞口，而洞內(nèi)水汽在陽光中上浮，形成彩色光環(huán)。在皓月當空時，祖師洞和壘石天窗，形成大月套小月，雙月迭出，真具有“一輪玉鏡當空，四壁蒼煙凝露”的風(fēng)光。
站立洞外平臺，徐徐清風(fēng)伴隨著絲絲竹音，在陽光的照耀下，翠蓋連綿的象王峰、夏涼峰、筆架峰、天峙峰，峰峰似獅如象，如云似崖。向北眺望，五磊講寺，金瓦黃墻，鱗次櫛比，酷似五峰蓮瓣擁花蕊，任人想像。民間傳說，五磊寺開山祖師那羅延在洞中結(jié)廬靜修時，牛角峰牛王和象王峰象王常結(jié)伴前來聽經(jīng)，觀音菩薩念其真心誠意，分別贈送其紫石竹林一片。今山上滿山遍野的石竹據(jù)說在其他山上是很難找到的。