در بالای کوه خانقاه، بنا به دوران ساسانیان، بنایی از سنگ و ساروج برجسته است که با نام “قلعه دختر” شناخته می‌شود. این قلعه، چهار برج و باروهایی دارد که نمادی از تاریخ طولانی و زیبای منطقه محسوب می‌شود. به لطف شهرداری، پله‌هایی به آن افزوده شده که دسترسی به این اثر تاریخی را آسان‌تر ساخته‌اند، اما با وجود گذر زمان، بخشی از این بنا به زمین فرو ریخته و تنها نامی از آن باقی خواهد ماند.
درباره نامگذاری “قلعه دختر” دو روایت وجود دارد. یکی از روایت‌ها به معنای “قلعه بکر و محکم” اشاره دارد، طبق این تفسیر، این قلعه به عنوان یک نقطه دفاعی غیرقابل فتح شناخته می‌شود. داستان دیگری که به تعبیر محلی مردم می‌پردازد، به طبع خرافی بودن معنی اولیه اشاره دارد. طبق این روایت، در گذشته، یک زن حاکم بر کوهبنان بوده که با ظلم و ستم به زنان حامله دستور داده تا مصالح ساختمانی را به بالای کوه حمل کنند. در یک روز فراموش‌نشدنی، این زن به ناگهان از اسب خود افتاده و جان خود را از دست داده است. مردمان شهر این منطقه به یادگار این حادثه نام “قلعه دختر” را به این بنا داده‌اند.
همچنین، در اطراف قلعه دختر، امام‌زاده‌ای به نام بی‌بی عصمت واقع است که به دلیل شفای زنی در سال 1342 خورشیدی، جایگاه و اهمیت خاصی در قلب مردم کوهبنان پیدا کرده است.
