灵岩山有“灵岩秀绝冠江南”和“吴中第一峰”之誉。因山上多奇石，其中以灵芝石最为突出而得名。但灵岩山最为引人入胜的还是其众多的历史文化遗迹，春秋战国时吴宫遗迹是其主要特色。
传吴王夫差为讨女美西施的欢心，在灵岩山为其建造规模很大的宫宛，名为馆娃宫。
相传现在的灵岩寺大殿，是为当年馆娃宫遗址。
此外吴王自己还建造了御花园，现称山顶花园。园内遍植奇花异草，并辟有水井两口，一为日井，传为西施梳洗所用。
一为月井，后为灵岩寺饮水之源。
园内还凿有池塘两个，大的叫浣花池，传为为西施赏荷所凿；另一为浣月池，传为西施惯于照水观景，懒得仰首望月，故凿月池。
穿芝山顶花园向西，可攀上全山最高处，有台基一座名为“琴台”，传为西施操琴之所。
西施抚琴，琴声不再，但登临此处，可俯瞰太湖及洞庭诸山，水阔山远，是为绝景。
