উপজেলার দক্ষিণ সীমানায় ঘোড়াঘাট ইউনিয়নের সাহেবগঞ্জ মৌজায় ঘোড়াঘাট দুর্গের অবস্থান। দুর্গের পূর্বধারঘেঁষেই প্রবাহিত করতোয়া নদী এবং পশ্চিম, দক্ষিণ ও উত্তর দিকে (লাগোয়া) পরিখা দ্বারা বেষ্টিত। সুলতানী আমলের আগে এ দুর্গের ভিত প্রতিষ্টিত হলেও মোগল আমলে এসে এ চরম উন্নতি সাধিত হয়। উত্তরবঙ্গের মধ্যে এটি একটি মাঝারী ধরণের মাটির দুর্গ ছিল বলে প্রমাণ পাওয়া যায় অনেক গবেষকের গ্রন্থে। কানিংহামের মতে- ঘোড়াঘাট শহরের আয়তন ছিল উত্তর-দক্ষিণে ১০ মাইল ও প্রস্থে ২ মাইল। আ.কা.মো. যাকারিয়া সাহেবের বাংলাদেশ প্রত্নসম্পদ গ্রন্থের তথ্য মতে আলোচ্য দুর্গটি উত্তর-দক্ষিণে লম্বা ও পূর্ব পশ্চিম দেয়ালের দৈঘ্য অনুরূপ, উত্তর দেয়াল আধা মাইল এবঙ দক্ষিণ দেয়াল প্রায় এক মাইল লম্বা। ধারণা, এই সীমানা কেবল দুর্গের কেন্দ্রের। বিশেষ করে দক্ষিণ দিকে আরো প্রলম্বিত ছিল। উত্তর, দক্ষিণ ও পশ্চিম ধারে যে পরিখা দেখা যায় তা প্রায় ৬০ ফুট চওড়া। পশ্চিম দেয়ালের উত্তরাংশে দুর্গের প্রধান প্রবেশ পথ ছিল। প্রধান প্রবেশ পথ থেকে ৪০০ গজ দক্ষিণ- পূর্ব দিকে দুর্গের দ্বিতীয় আন্তদেয়ালের গুরু। এর পাশেই ছিল ফৌজদার ভবন। তাচাড়াও দুর্গবেষ্টনীর প্রধান অংশে ছিল প্রশাসনিক ভবন, সেনা ছাউনী, সামরিক কর্মচারিদের বাসভবন, মসজিদ ও মাদ্রাসা। এখন শুধু পরিখার উপরে ৮/১০ ফুট উঁচু লালমাটির প্রাচীর আছে যেগুলো পথিকদের দৃষ্টি আকর্ষণ করে। মাটির প্রাচীরের উপরে এখন আগাছা জন্মেছে।
সম্রাট আকবরের আমলে এই দুর্গে ৯০০ আশ্বারোহী, ৫০টি হাতি ও ৩২.৬০০ পদাতিক সৈন্যের স্থান সংকুলান হতো।১দুর্গের অভ্যন্তর ভাগে পশ্চিম দিকে (পাকা সড়কের ধারে) ফৌজদার ভবনের কাছাকাছি জায়গায় একটি ধ্বংসপ্রাপ্ত মসজিদ, মসজিদের পশ্চিম ধারে পুরাতন জরাজীর্ণ কবর ও মসজিদের সামনে একটি ৮ কোণী ইদারা এবঙ দক্ষিণ পাশে লাগোয়া গোলাকার আর একটি পরিত্যাক্ত ইদারা দৃষ্টিগোচর হয়। অধূনা স্থানটি মাজারপাড়া বলে পরিচিত। জঙ্গলে ঢাকা এই স্থানটি ২০০৭ সারে পরিস্কার করা হয়। এখন দুর্গের ভূমির উপরে বৃক্ষ রোপণের কাজ চলছে।
Planning and Implementation: Cabinet Division, A2I, BCC, DoICT and BASIS