祁家村位于丘陵地帶。沿著溪坑公路，有座拱形小橋，小溪流水潺潺，旁依一條彎彎小路。祁家宅院建筑坐北朝南，據史料記載，此宅總占地面積1990平方米。大院前，立著一間炮樓，正面有兩個一圓一方的炮洞，炮樓用淺紅色的條石鑿砌而成，堅不可摧的樣子。整個建筑前后兩進，內有天井、回廊、串樓、廂房、--、花園。
整個建筑前后兩進，內有天井、回廊、串樓、廂房、--、花園。青瓦粉墻的小樓彼此相連，飛檐翹角的正門高聳在正中。站在正門前仰頭細觀，額題已模糊不清，東、西門的題額分別為“樓枕嶼山”和“門迎湫水”的兩幅字。正門對面的圍墻上鑲嵌著一塊天然奇石“星月石”，暗紅色的蛇蟠石中間一塊渾圓的白圈，仿若滿天寒星簇擁著一輪皎潔的月亮，側邊長長一道是遙遠的銀河，寓意“如月中天”。
主樓為傳統(tǒng)木結構四合院，硬山頂穿斗式磚木結構，二層七開間帶一弄，明間梁架五柱七檁，中柱落地帶前后雙步和前后廊，次間同明間。庭院開闊，平鋪石板，左角有一水井。左右為兩層廂房，硬山頂梁架穿斗結構。其后則是狹長的大跨院，稱后院，也稱小姐樓，名曰“順雨樓”。向左、右各行十幾步，可以穿過小門，進入主樓兩邊的廂房。廂房有九個明堂，九個跨院，門上方亦各有扇形字刻，一字一句，散發(fā)著濃郁的耕讀傳家文化思想，承載著悠悠的古趣詩韻。廂房前也有狹長的大跨院，供長工、傭人居住。在后院的兩側各建有耳房，用墻與小姐樓隔開。最后面是花園，依稀可見往日花木錦簇、盆景迥異的情形。
整個建筑群落布局嚴謹，圍墻高聳，氣勢恢宏，顯得穩(wěn)實牢固，封閉性極強，是一個安全、寧靜、舒適的居住處所。建筑四周筑有高高圍墻和影壁，東南角建有炮樓，呈方形，攢尖式頂，高近十米，四周建有瞭望孔和射擊孔，如警惕的眼睛，炯炯有神。建筑的整體設計，可感受到明顯的防衛(wèi)意識，這不但證明了它是一座自衛(wèi)式的民宅，從一個側面反映出清晚期至民國初年社會處于動蕩的狀態(tài)。
土改時，祁文豹故居被分給祁家后人及當?shù)匕傩站幼 ２痪茫敃r的葛岙鄉(xiāng)人民政府把主樓作為政府辦公場所；現(xiàn)在它成了海游鎮(zhèn)葛岙片的辦公用房。
祁文豹故居建筑，薈萃了浙東古代民間建筑的基本風格，展現(xiàn)了浙東晚清古建筑中的特色。整個建筑既有遍及南方民宅中的馬頭墻，又有建在前后瓦檐上的騎瓦風火墻；既有一進兩廂的結構，又有庭園式、院墻式等風格迥異的居屋。建筑構件中的枋檁雀替，藻井花窗，雕刻有寓意吉祥如意的鰲魚、蝙蝠、麒麟、奔鹿、走獸，以及栩栩如生的人物造型，宅院中的雕花石磉子、雕花窗、彩繪、升斗等再現(xiàn)了當時高超的技藝。宅院內融灰雕、石雕、木雕藝術于一體，表現(xiàn)了當時藝人非凡的繪畫、雕刻技藝。