島の南西、阿古地区に位置する。

もともと峯富賀平（雄山の八合目あたり）の地に鎮座していたが、噴火により本殿を焼失し、その後、二島ヶ山（新富賀山・二富賀山ともいう。古錆浜にある荒島神社のあたり）へ移り、さらに現在地である富賀山（海抜６０．４ｍ）の中腹に鎮座したと言われている。

隔年で行われている富賀大祭時には神輿に御霊が移され、６日間かけて島内を回り再度富賀神社へ還御される。