温泉津湾の北西に位置する。 櫛島の由来は、承久の変で隠岐の島に流罪となった後鳥羽上皇が途中嵐に逢いこの地に漂着し、世話になったお礼に古老へ櫛を授けたのが由来。 天文9年11月、毛利攻略のため尼子晴久が進軍した際、櫛山城主は尼子軍を撃退した。
