その後、平安時代に弘法大師が訪れ、この｢薬師如来｣をご本尊として寺を開きました。このとき、唐から持ち帰った五穀(米、麦、粟、きび、豆)の種を寺にまいたことから、その名がつけられたそうです。
観音堂には、｢子育て観音｣があり、その周りには、安産を祈願する人が奉納した底の抜けたひしゃくがたくさんかけられています。