কালীক্ষেত্র দীপিকা অনুযায়ী, ষোড়শ শতকের মধ্যভাগে ভুবনেশ্বর ব্রহ্মচারী নামে এক সাধক দেবী কালীর পুজো করতেন। তিনি তাঁর জামাই আগমাচার্য ভবানীদাস চক্রবর্তীকে কালীঘাটের মন্দির হস্তান্তরিত করেছিলেন। যশোরের রাজা প্রতাপাদিত্যর কাকা রাজা বসন্ত রায় এখানে মন্দির তৈরি করে দিয়েছিলেন। পরে দেবীর মন্দির জীর্ণ হয়ে যাওয়ায় ১৮০৯ সালে সাবর্ণ রায়চৌধুরীরা এখানে মন্দির তৈরি করে দেন। এমনটাই দাবি, এই মন্দিরের সেবায়েত হালদার পরিবারের।
দেবীর মন্দিরের পাশাপাশি এখানে রয়েছে শ্যামরায়ের মন্দির। যা তৈরিতে সহায়তা করেছিলেন বাওয়ালি রাজবাড়ির সদস্যরা। দেবীর মন্দিরের সামনের নাটমন্দির তৈরি করেছিলেন আন্দুলের মহারাজ কাশীনাথ রায়। পঞ্জাবের তারা সিং এসে আবার গঠন করেছিলেন কালীঘাটের দেবী কালীর ভৈরব নকুলেশ্বরের মন্দির। এছাড়াও অন্যান্য জমিদার এবং ব্যবসায়ীরাও এই মন্দিরের চারপাশ তৈরিতে সহায়তা করেছিলেন। বিহারের মুঙ্গেরের ব্যবসায়ী গোবর্ধন দাস যেমন বানিয়ে দিয়েছিলেন কালীঘাট মন্দিরের আশপাশের রাস্তা।
এই মন্দিরের পূর্বদিকে একটি পুকুর আছে। ভক্তদের দাবি, সেই পুকুর অতলস্পর্শী। এই পুকুর কুণ্ডপুকুর নামে পরিচিত। জনশ্রুতি আছে, সেই পুকুর থেকেই উঠে এসেছিল কালীঘাটের দেবী কালীর মূর্তি। রানি রাসমণিও নিত্যদিন কালীঘাটের এই মন্দিরে যাতায়াত করতেন। এখানে দেবীর মুখমণ্ডল একটি কষ্টিপাথরের শিলাখণ্ড। পাইকপাড়ার রাজা ইন্দ্র চন্দ্রসিং বাহাদুর দেবীর প্রতিদিনের ভোগের খরচ বহন করতেন। নেপালের জং বাহাদুর দেবীকে রুপোর ছাতা দিয়েছিলেন। প্রথমে দেবীর ছিল রুপোর হাত। পরে, বানানো হয় সোনার হাত।
আরও পড়ুুন- ফ্রাঙ্কেনস্টাইন! দুই তালেবানের সঙ্গে কতটা জটিল পাকিস্তানের সম্পর্ক?
সাবর্ণ রায়চৌধুরীদের রাজা সন্তোষ রায়ের থেকে প্রতিদিন কালীঘাট মন্দিরে ভোগের জিনিসপত্র আসত। আর, প্রথম ভোগও ওঁনার কাছেই যেত। বর্তমানে পালাদার বা দেবীর সেবার ভার যাঁর ওপর পড়ে, তিনিই ভোগের খরচা বহন করেন। কথিত আছে কালীঘাটে দেবী সতীর পায়ের চারটে আঙুল পড়েছিল। এই মন্দিরে দেবীর পদতলে রয়েছে রুপোর তৈরি মহাদেব। দেবী কালী ডানহাতে অভয় আর বর দেন। তাঁর ডানদিকের দুটি হাতের একটিতে রয়েছে অভয় মুদ্রা। অন্যটি বরমুদ্রা। দেবীর বামহাতে আবার রয়েছে খড়গ এবং বামদিকের নীচের হাতে ঝোলানো রয়েছে মুণ্ড। এই দেবী হলেন চামুণ্ডা। তাঁর হাতে যে খড়গ রয়েছে, সেটা হল জ্ঞানখড়্গ। তিনি সেই খড়্গ দিয়ে অজ্ঞানতা নাশ করেন।