霊山（標高765m）の中腹に再興された「霊山寺」は嵯峨天皇が伝教大師 最澄に勅令して創建されたという古い歴史を持った古寺で、 山頂には信長の兵火により焼失した広大な寺院跡があり、霊山山頂遺跡となっている。 霊山寺の縁起によれば、平治の乱で捕えられた幼少の源頼朝が、伊賀国の平宗清に預けられ、その時に霊山寺に助命祈願をしたのが成就、伊豆に配流された。 その後、鎌倉にて兵を挙げて平家を討伐し征夷大将軍に就いた時、祈願成就した霊山寺に大鐘、伽藍を寄進した。 人々はこれを頼朝公鐘乞観音として信仰を集めたとある。霊山寺境内に高く聳え立つ　樹高32m、目通り幹周４．３ｍの大イチョウは葉が二裂して片方が葉、 片方が胚珠となる「お葉付きイチョウ」と呼ばれる種で植物学上に於いてもイチョウの祖型を探る意味で興味を持たれてい樹です。