تقع هذه القلعة في أحياء قديمة أي باب المسجد وكلوان ونوآباد. تأتي قلعة نارنج مع بقاياها في المرتبة الثانية بعد منارة جامع المدينة من حيث الارتفاع. هذه القلعة المبنية من اللبن تعرف أيضاً بقلعة «نارين» وتظهر ملامحها تماماً في قلب حي المدينة القديم.
يعود بناء القلعة الى فترة ما قبل الاسلام، ولم يحدد بعد الهدف من بنائه. وكما ورد في بعض النصوص التاريخية أن هذه القلعة كان يقيم فيها الوالي أو الحاكم، وجاء في بعض المصادر أن هذه القلعة ونظراً للخندق الذي حولها والقلاع النظيرة لها كانت حصناً عسكرياً، وجاء في رواية تاريخية أخرى أنها كانت معبداً نارياً.

وكيفما كان فأن هذه القلعة الجميلة الى جانب معالم حضارية ودينية عدّة مثل المسجد الجامع والمصلى والسوق والمجالس الحسينية وورش حياكة الأقمشة وغيرها كانت تستهوي سنوياً الآلاف من السياح من داخل ايران وخارجها الى مدينة نايين المتاخمة للصحراء.
وعن هذه القلعة، يقول المهندس المعمار وخبير علم الآثار الفرنسي آندره غدار: ان بناء هذه القلعة يعود الى ما قبل الاسلام وربما بنيت في العهد الأشكاني. وكانت حولها جدرانٌ مرتفعة لم يبق منها اليوم إلا جزءٌ بسيط.