地元では「しなね様」として親しまれる土佐神社の東隣にあります。大同年間(806〜810)、土佐神社の別当寺として弘法大師により建てられました。 しかし、明治時代、廃仏毀釈のあおりを受け、廃寺に。この時、ご本尊である「阿弥陀如来」は国分寺へと預けられ、後に安楽寺に移されました。そして、安楽寺も第30番札所として公認され、2つの30番札所が存在するという時代が長く続きました。
1994年(平成6年)、ようやく善楽寺が第30番札所、安楽寺は第30番札所の奥の院と決められ、現在に至ります。本堂の向かいには、首から上の病気に利益があると言われる「梅見地蔵」、子宝祈願にご利益があると言われる「子安地蔵堂」があり、優しい笑みをたたえています。