林家は最初に新荘に林公館を建て、道光25年～27年の間に擺接堡（現在の板橋）に弼益館を建設し、この地を貸し出して、畑の小作料を徴収していました。弼益館の面積は約150坪で、簡単な四合院形式の造りです。後に漳州人と泉州人との間で起きた乱闘事件を避けるため、咸豊3年に広い邸宅(今の三落大厝)を建てました。建物の建築方式は特別で、入り口は北に面し、正面に門を作らずに左右の2ヶ所に扉を造り、防御性を高めるため銃眼を開いています。建材には中国と台湾現地の貴重な高級木材を使用し、豪壮華麗に装飾され、当時においては台湾で最も立派な建物でした。光緒4年（1878年）より、林家は家を増築すべく、新たな邸宅(五落大厝)を建築しました。面積は約1200坪にも及び、当時では珍しい大規模な建築物でした。当時、庭園のある建物を建てることができたのは官僚か名声や社会的地位のある人のみでした。富商豪家は、住まいの快適さを追求し、また官僚や商売仲間の大富豪を招待するため、大金をはたいて邸宅に精美で優雅な庭園を造りました。台湾各地にこのような優美な庭園のある建物があります。中でも、台南の呉園、新竹の北郭園、板橋の林本源園邸、霧峰の莱園が最も有名であり、｢台湾の四大名園｣と称されています。

林本源園邸が建てられた時期は未だはっきりとはしていないのですが、一般的には、林家の屋敷(大厝)が完成した後に建てられたと言われています。台湾大学の土木工学科の報告によると、光緒元年に建てられ、光緒14年に増築・修復工事が行われ、光緒19年に全て完成したのではないかと考えられています。ところで林本源園邸の設計者は一体だれなのでしょうか？中国伝統建築の大工が名前を残すことはまれで、後世に伝わる資料も少ないのですが、伝統建築のコンセプトや設計・施工は主に1．持ち主、2．文人墨客、3．風水の先生、4．大工の人らの意見を主に取り入れています。修復にも当然費用がかかりました。多くの学者や専門家によると、林本源園邸の建設費用は巨額で、少なくても30万両、中には50万両だという意見もあります。