পুজোর ইতিহাস ঘাঁটলে জানা যায়, আজ থেকে প্রায় ৪০০-৪৫০ বছর আগে এই পুজোর সূচনা হয়। সে সময় তাম্রলিপ্ত নগরীর রাজা তাম্রধ্বজের ব্যবস্থাপক ছিলেন পূর্বপুরুষ স্বার্থকরাম। স্বার্থকরামের মা পাশের কোনও এক জায়গায় পুজোর অঞ্জলি দিতে গিয়েছিলেন। সেখানে তাকে ভিখারি বামুনের বউ বলে অপমান করে তাড়িয়ে দেওয়া হয়। চোখে জল নিয়ে কাঁদতে কাঁদতে বাড়ি ফিরে আসেন স্বার্থকরামের মা। সেই জল সহ্য করতে পারেনি স্বার্থকরাম। মায়ের চোখের জল নিবারণ করতে পরের বছর থেকেই একচালা সাবেকি মূর্তিতে দেবী দুর্গার পুজো শুরু করেন স্বার্থকরাম।

মায়ের চোখের জল মোছাতে চিন্ময়ী মায়ের আরাধনা শুরু করেছিলেন ব্যবত্তাবাটির পূর্বপুরুষ স্বার্থকরাম। আমচুরের টক ও বড়ি দিয়েই ভোগ দেওয়া হয় চিন্ময়ী মাকে। মায়ের প্রসাদ পেতে প্রতিদিন ভিড় জমান বহু মানুষ। নবীন ও প্রবীণদের মিলিত প্রয়াসে পুরানো ঐতিহ্য বহন করে আজও জমজমাট নন্দকুমারের ব্যবত্তাবাটির বনেদি বাড়ির পুজো।