شيد حصن خصب في أواخر القرن السادس عشر وبداية القرن السابع عشر الميلادي، كما ذكرت بعض المصادر أنه بني في بداية القرن السابع عشر الميلادي.
شغل الحصن عدة وظائف على مر العصور، إضافة إلى كونه قوة حصينة كانت تمارس فيه مهام الولاة والقضاة وتدار دفة الحكم به وتجري دعاوى الصلح والبت في الأحكام إضافة إلى استخدامه كسكن للولاة خاصة في القرون الأخيرة حيث اتخذ مقرا لسكن الوالي، أما اليوم فقد أعيد تأهيله وتطويره ليصبح معرضا إقليميا ووجهة سياحية في المحافظة.

يوجد في فناء الحصن ثلاثة قوارب والبيت الصيفي أو ما يسمى بالعريش المبني بسعف النخيل والمدعم بالحجارة. كما يوجد بجوار العريش بيت القفل المبني بالحجارة الثقيلة، استخدم لحفظ المؤن الأساسية وللاحتماء.

كما يوجد بالجزء العلوي من الحصن غرف تعرض مشاهد حية للطب التقليدي والأزياء والحلي التقليدية بالإضافة إلى غرفة النساء وغرفة العرس ومدرسة القرآن الكريم.