海幢寺环境清幽。
鼎盛时期的海幢寺是紧挨着珠江的，上了渡口就可以看见海幢寺的山门。在海幢寺的西北方，是广州城的“水口”（水流入或流出之处）白鹅潭。
从堪舆学的角度分析地理环境，“水口”所在之处往往是一个地方的经济枢纽，白鹅潭早在秦汉时期就是我国重要的外贸港口，到了清代，随着十三行的出现，白鹅潭北岸文化公园一带成为洋商的集中地，南岸的河南成为富商的聚居地。陈徽言《南越游记》称：“广州城南隔河有地名河南，富者多居之。人烟稠密，栉比相错”。当时十三行有潘、卢、伍、叶四大富商家族，其中有两个家族就居住在海幢寺附近。
伍氏家族是“四大家族”的首富，1834年，伍家的财产达2600万银元，相当于50亿元人民币。2001年，美国《华尔街日报》统计了1000年来世界最富有的50人，6名中国人榜上有名，伍氏家族的伍秉鉴就是其中之一。伍氏家族初居西关，1803年在河南海幢寺侧购地建花园式住宅，伍家花园名为“安海乡”，据史籍记载，伍家花园环境优美，曲径通幽，其中有社岗、荷塘、三桥、土地祠、宗祠等建筑，规模宏大，但所有建筑现在均已湮灭，只有园中旧物“猛虎回头石”被移置海幢公园内。
潘家住河南比伍家还早，1776年，潘家入粤始祖潘启在河南乌龙冈西买地开村建宅，名为“龙溪乡”，潘家的居住地就在现在的南华西路一带。
潘家在高峰时期家财达2000多万银元，仅次于伍家。
