「簃」とは閣のそばにある小屋で、花を観賞する憩いの場所です。香玉簃は回廊が変化して造られたものでした。回廊は長くて屈折しており、ある時は壁に沿って進み、ある時は外側へ方向を変えて進むため、回廊と壁との間に形状や性質が異なる小さな庭ができ、そこに布石や花台などが置かれるようになったのです。歩く人が回廊の折れ曲がるのに沿ってリズミカルに進むと園林の景観が変化に富み、深みが一層増します。
香玉簃の前には花壇があり、花の季節になると一面に鮮やかな花が咲き誇り、周りの建物と相まって詩や絵のような情趣を醸し出します。