Từ ngoài nhìn vào, hai bên nền cũ của Hương Nguyện đình là lỗi đi vào chùa, ở hai bên của hai lối đi này có 4 kiến trúc nhỏ, gồm 2 nhà vuông phía trước, hai nhà lục giác phía sau. Đây chính là 2
Bi đình (nhà bia) của vua Thiệu Trị - phía trước, nhà vuông - và 2 nhà lục giác của chúa Nguyễn.
Bi đình của vua Thiệu Trị phía tay phải (từ ngoài nhìn vào) chứa bia đá nói về việc dựng tháp Phước Duyên, thường gọi là
Ngự chế Thiên Mụ tự Phước Duyên bảo tháp bi.

Bi đình của vua Thiệu Trị, chứa
Ngự chế Thiên Mụ tự Phước Duyên bảo tháp bi
Bi đình phía tay trái, chứa bia đá khắc 8 bài thơ của vua Thiệu Trị làm vào những lúc thăm viếng hoặc vịnh cảnh chùa. (Vua Thiệu Trị tự xếp hạng có 20 thắng cảnh ở chốn Kinh thành, trong đó Chùa Thiên Mụ được ông đặt ở vị trí thứ 14)

Bi đình của vua Thiệu Trị chứa bia đá khắc thơ vịnh cảnh chùa của nhà vua.
__________________
Gác kiếm