擇賢堂創建初期，由於缺乏進一步的史料為證而無法加以了解。然根據訪談得知今日大寮的位置原來就是擇賢堂初創時的位置，其建築是在民國六十年（1971年）拆除的，這只要參考民國四十三年（1954年）寺廟調查所得的〈寺廟登記圖表〉，即可了解當時擇賢堂的大致情形。由於是葉昌貞的家堂（個人佛堂），因此格局狹小，其樣式為三開間的平房，中間廳堂部分應為供佛之所，而兩側是否有神祖空間就不得而知了。據說該處在昭和三年（1928年）改遷前面正殿之後，原址便作為餐廳、廚房之用，而其他的家屋顯然應是生活的空間，提供給齋友居住之用。
當時廳堂面北，東北側有一供給日常生活取用的水井，東側堂外為廁所，對外的出入口則在擇賢堂後方的重慶寺街，與今日的方位恰恰相反。此一窄狹的佛堂空間，早期只提供給少數幾個人來修持或許還仍容納，然在常住信眾日漸增多之後，向外況展該堂的空間便成為不得不為的緊迫工作了。再說，堂內生活本就清苦，要在短時間內募資數千元絕非易事，也因此必須在堂眾共同努力多年之後，才有隨後的改建工事進行。
本堂第二任堂主黃昌泰精通漢藥，因此常教導堂眾親手製作中藥膏和香燭到外地販賣，以籌措堂內之費用，並以所多餘資金陸續購地。後來報恩堂堂主溫昌賢，曾因急需金錢而以該堂阿蓮鄉的土地抵押，向黃昌泰借貸一百五十圓周轉，可見當時擇賢堂內的經濟狀況應該已逐漸好轉。據堂內的資料顯示，在黃昌泰擔任堂主（兼管理人）之時，陸續購買多塊土地，其中包括明治三十九年（1906年）七月九日，以九十圓向鄭祥氏購買民房一棟，其址位於「本町一一七六番地」（即今民權路地段）；同年九月十八日，向本堂的鄰居葉全購買民宅一棟，共花費二百四十圓，其地號為「末廣町一丁目四十四番地」和「丙一九七番地」兩塊，此家屋即是擇賢堂右方的民宅。
昭和三年（1928年），本堂第三任堂主古昌端發起重建，於是在其帶頭捐金的情況下，其計籌得緣金九千六百七十四圓，作為改建佛堂的經費。今日所見的堂宇建築，即是在此次的建築中奠定基礎的，而後雖然在經數次的整修，然而都只是彩畫、壁磚和地磚等表面的裝飾粉刷而已。
根據林衡道的說法，現存殿宇乃昭和三年（1928年）由普通民房改建而成（林衡道，1977：184）。此一觀點可從三個方面來稍加確認。首先，從建築的形式來看，擇賢堂的格局正中為正身，兩側分別添加一兩開間的護龍所組成，這和其右側的民宅形式完全相同。其次，如同環境變遷一節中所談到的，本區為住宅集中區域，同為先天派齋堂的報恩堂亦是由民房改建而成。由此或許可以呼應林衡道先生的說法。最後，也是最重要的，從建築的構成與空間的形式看來，由於右護龍的構造乃穿斗式形式，而左護龍卻是簡單的抬樑架形式，地坪面積也較左側護龍為小，擇賢堂原來的主體建築顯然應非一次興建完成，而是經過好幾次的增建而成，這個現象在傳統民宅的興建過程中常常見到，這主要都是經濟因素所造成。
此次的改建過程，除了重建今日所見的佛堂之外，還包括佛像和九龍圍金的重新塑裝，這可從昭和三年的（擇賢佛堂改築紀念）木匾二塊提款中發現。有關此次的改建工程，堂內還有頂、下棹各一，以及「大雄寶殿」匾額，可為例證。值得注意的是，木匾中的捐款人士，其餘大多數都是屏東內埔、萬巒、高樹、麟洛、新埤、高雄美濃一帶的客家人，此一情形若對照擇賢堂所提供的《信徒名冊》，可以發現這些捐緣人士大都在民國十四至十五年間（1925-1926年間）左右受度加入本堂，且與堂主古昌端同為美濃、六堆附近的客家人，可見這些信眾應該都是在古昌端擔任堂主時加入本堂的，其中還包括幾位古昌端、古昌新的家人。由此可知，本次的改建工作應和古昌端的發起有密切的關係才是，本堂與客家庄的歷史淵源亦是由此而來。可惜古昌端於堂宇落成不久後即過世，遂由第四任堂主古昌新接任。
光復後不久，曾一度重新修繕堂宇屋頂。民國四十年（1951年）古昌新歸西，同年由吳昌素（本名吳素，吳素連，1928年皤依加入本堂）發起重修堂宇，而後再於民國五十二年（1963年）提議重新油漆堂宇（台南縣市寺廟大觀編刊委員會，1963：64）。過程中將原來為黃色為底色的裝飾色調改成紅色，而且還發生將正殿大門下方門檻位置的玉兔雕飾改色而成花鹿的軼事。
民國五十九年（1970年）為了籌措經費興建後方的樓房，經民國五十九年（1970年）信徒大會會議通過，決定讓售民權路本町二丁目一百三十番號土地及房屋（原民權路高時堂後方土地和房屋），作為改建「本堂後左側破廚房為二階樓房，以供信徒及本堂信眾居住」的經費來源。此次的讓售，計得金十二、三萬元。如果再加上修建時所募得的二十一萬五千元，共計約三十三萬五千元左右。而修建後方的樓房，則花費了二十四萬元左右的工程費。此次的工程於民國六十年（1971年）完工，建築二層樓的現代式樓房，一樓為廚房及餐廳（齋堂），由如此寬大的餐廳可以想見當時堂內住眾的盛況；二樓則是專供住眾休息的寮房，今僅剩一位掛單客，其餘房舍則空無一人，比較起昔日熱鬧的景象，不禁令人感嘆。
民國七十五年（1986年）左右，由於正殿內的地磚皆已老舊，而且在長年使用的情況下，舊有紅色尺磚大都破損不堪，堂方因此決定更換地磚為今日所見的白色尺磚式樣。同一時間變更的，還包括檐廊和拜殿的洗石子鋪面，而護龍的地坪也同時加以更換。
民國八十一年（1992年），正殿兩旁原有的七祖廳在因應時代需求的情況下，經舉辦梁皇法會將原神主牌位集體燒化，並於右廂外側創立開山堂，供俸本堂祖師親友及九玄七祖之牌位。
