इसको लेकर इलाका वासियों में भी रोष है. दक्षिण दिनाजपुर जिला हेरीटेज सोसायटी के सचिव समित घोष का कहना है कि बानगढ़ के संरक्षण की काफी आवश्यकता है. पूरे उत्तर बंगाल इससे प्राचीन अवशेष कहीं भी नहीं है. कई बार यहां की खुदाइ की गयी और इससे काफी ऐतिहासिक जानकारी मिली. वर्तमान में खुदाइ को रोक दिया गया है. जिसकी वजह से बानगढ़ का इतिहास आज भी मिट्टी में ही दबा हुआ है. उन्होंने प्रशासन से यहां फिर से खुदाइ शुरू करने की मांग की है.
बानगढ़ जिले के गंगारामपुर ब्लॉक के शिवबाड़ी इलाके में स्थित है.कलकत्ता विश्विद्यालय के तत्कालीन अध्यक्ष कृष्ण गोविंद गोस्वामी ने 1938 से लेकर 1941 तक यहां खुदाइ करवायी थी. 141 एकड़ इलाके में मिट्टी का एक बड़ा टिला यहां बन गया है. एएसआइ ने करीब 1000 एकड़ जमीन की पहचान अनुशंधान कार्यों के लिए की है.जब यहां जांच शुरू की गयी तो प्राचीन पाल,सेन और मौर्य वंश के अवशेष यहां पाए गए.उन सभी अवशेषों को फिलहाल बालुरघाट के म्यूजियम में रखा गया है.यहां कभी बाली राजा राज करते थे. उनकी मौत के बाद उनके बेटे बान ने राजपाट संभाला. उन्हीं के नाम पर इस स्थान का नाम बानगढ़ पड़ा. यहां मौर्य शासन काल में बने दीवार,तांबे की मुद्राएं मिली है. इसके अलावा पाल युग के मंदिर के अवशेष मिले. अब खनन बंद होने से यहां अवैध कब्जा भी शुरू हो गया है. आगे भी यदि यही स्थिति बनी रही तो पूरी जमीन पर भूमाफियाओं का कब्जा हो जायेगा और इतिहास भी मिट्टी के नीचे ही दबा रह जायेगा. स्थानीय लोगों ने पूरे इलाके में बाउंडरी वाल बनाने की मांग की है.