当山の開基は徳道上人で、その創設については大宝年間（七〇一～七〇四）と伝わる。大和の長谷寺を模したものとして多気郡多気町にある真言宗山階派の近長谷寺に対し遠長谷寺とも呼ばれております。
佐々木氏や北畠氏の祈願所であったといわれているが、たびたびの兵火に遭い、ほとんど廃絶していたのを二代津藩主の藤堂高次公が再興し、藤堂家歴代の祈願所となった。現在は臨済宗相国寺派に属しております。
津市街の西方にある長谷山(321m)の南西中腹に位置し、麓の長谷町から続く参道を上りつめたところに毘沙門天と六観音の石仏があります。これは藤堂高虎公が文禄年間に大陸よりもたらしたものと伝わっております。
○『当寺十一面観世音菩薩縁起、奥院縁起』より
当山は文武天皇の時代（大宝年間）徳道上人が身の丈二丈六尺（約7.9ｍ）の十一面観世音菩薩三体を彫刻させ、その内の一体を当寺の御本尊として安置し、以来国家鎮護の勅願所となりました。
その後、佐々木朝綱、藤原景通、藤原景清、伊勢の国司北畠氏の歴代の祈願所となり七堂伽藍を備え繁栄しておりましたが、兵火によりほとんど廃絶していたのを二代津藩主の藤堂高次公が再興し、藤堂家歴代の祈願所としました。
古仏十一面観世音菩薩は日本有数の大きな御仏でありましたが、天正年間織田信長の兵火により焼き払われ、その残骸を白布に包んで奉安し、霊験著しいとされ人々に信仰されてきました。その白布を十八年毎に取り替える為に御開帳法要が厳修されます。
なお、現在の御本尊十一面観音立像は江戸初期の作で等身大木造褐色の漆仕立て寄木造の長谷式となっています。
本堂の東側には井戸があり、この井戸は七回もの火災に遭った御本尊が、その都度この井戸に難を避けられた故を以て観音井戸と言い伝えられています。
