観稼楼はその名の通り、昔はここから農夫が田畑を耕している様子を遠くから見ることができたのです。二階には遠望するのに適した露天テラスがあり、観音山の下に広がる田畑のあぜ道が連なり、借景によって見飽きることのない趣のある景色が形成されたのです。

　楼の前方には八角形の門洞とカイドウ池があり、池は小さいですが、曲線的な石の手すりとアーチ橋で設計されています。また、楼の前方にある小さな庭は巻物の形に似た書巻壁があり、｢開卷有益(読書が有益であること)｣を象徴し、その両側に造られた八角形の門洞と書巻の折れ線が相互に趣を添えています。壁の上には果物の形をしたすかし窓があり、ザボン、かぼちゃ、仙桃、ザクロの模様をして、福、禄、寿、喜の寓意を象徴しています。

　観稼楼は園邸内で二番目に大きい建物であり、同時に、榕蔭大池をメインの景観とし、建物がその背景となり、一目では池や築山の向こうまで見通せないようにしています。

　観稼楼の近くに孔雀園があり、昔は孔雀園の向かいの築山の洞窟内で猿を飼っており、中国語でサルの発音が侯と同じ事から｢ただちに侯に封ぜられるだろう｣という縁起担ぎの意味合いもあったのです。