প্রায় ১৮০০ শতকের দিকে এই বাইশরশি জমিদার বাড়ির গোড়াপত্তন হয়। লবণ ব্যবসায়ী উদ্ধর চন্দ্র সাহা বিপুল অর্থসম্পত্তির মালিক হয়ে বাইশরশিতে অনেক জমি কিনে জমিদারি শুরু করেন। ১৮২৪ সালে লর্ড ক্লাইভের সময়ে জমিদার উদ্ধর চন্দ্র সাহা বরিশালে কালিয়াতে জমিদারি কেনেন। জমিদারী আমলে ভারতীয় উপমহাদেশের ভিতরে এই জমিদার বংশধররা বিশার জমিদারী হিসেবে খ্যাতি অর্জন করে। কেননা এই জমিদার বংশের জমিদারীর আওতায় স্থানীয় ফরিদপুর জেলা ছাড়াও বরিশাল জেলার বিভিন্ন অংশ মিলিয়ে মোট ২২টি পরগণা ছিল। তারা তাদের ক্ষুদ্র জমিদারীকে আস্তে আস্তে বিভিন্ন পরগণা ক্রয় করার মাধ্যমে জমিদারীকে বিশাল করতে থাকে। জমিদারীর শুরুর থেকে শেষ পর্যন্ত বংশপরামপণায় জমিদাররা একের পর এক জমিদারী পরিচালনা করতে থাকেন। ভারতবর্ষ ভাগ হওয়ার পর ঐ সময়ের জমিদার ভারতে কলকাতায় বসে এখানের জমিদারী পরিচালনা করতেন। পরবর্তীতে জমিদারী প্রথা বিলুপ্ত হলে জমিদার বংশের একজন ছাড়া বাকি সকলেই ভারতে স্থায়ীভাবে বসবাস শুরু করেন। উদ্ধর চন্দ্র সাহার পর তার পুত্র হরে কৃষ্ণ সাহা জমিদার হন। তিনি বরিশালে বাউফলে জমি কিনে সেখানে জমিদারি শুরু করেন। তার তিন পুত্র ছিল। তাদের মধ্যে রাম জয় সাহা এরপর জমিদারী করেন। এসময় ইংরেজদের থেকে রায় চৌধুরী উপাধি পান। রাম জয় রায় চৌধুরীর দুই পুত্র। বৈকুন্ঠ রায় ও নীল কন্ঠ রায়। তারা জমিদারী ভাগ করে নেয়। বৈকুণ্ঠ রায়ের অংশটি হল বড় তরফ। আর নীল কণ্ঠ রায়ের অংশ হল ছোট তরফ। বৈকুণ্ঠ রায়ের কোন সন্তান ছিল না। তিনি মহিম চন্দ্র রায়কে দত্তক নেন। মহিম চন্দ্র রায়েরও কোন সন্তান না হওয়ায় তিনি কলকাতার মহেন্দ্র নারায়ণ রায় চৌধুরীকে দত্তক নেন। মহিম চন্দ্র রায় বাহাদুর উপাধি পেয়েছিলেন। ১৯১৪ সালে তার পুত্র মহেন্দ্র নারায়ণ রায় বাহাদুর মাতা ও মহিম চন্দ্র রায় বাহাদুরের স্ত্রী শিব সুন্দরী চৌধুরাণীর নামে ‘‘বাইশরশি শিব সুন্দরী একাডেমী’’ তৈরি করেন। তার পুত্র নীল কণ্ঠ রায় বাহাদুর। তার রাজেন্দ্র চরণ মজুমদার বাবু ও দেবেন্দ্রবাবু নামে দুই পুত্র ছিল। রাজেন্দ্র চরণ মজুমদার বাবুর কোন সন্তান হয় নি। তিনি রমেশ বাবুকে দত্তক নেন। দেবেন্দ্র বাবুর দক্ষিণা রঞ্জন বাবু নামে এক পুত্র ছিল।দক্ষিণা বাবুরও সন্তান না হওয়ায় দিলীপ বাবুকে দত্তক নেন। উনিশ শতকের প্রথমে দুই তরফের মধ্যে জমি নিয়ে বিবাদ হয়। যা কোর্ট পর্যন্ত যায়। পরে ফরিদপুর জেলা ম্যাজিস্ট্রেট হস্তক্ষেপ করে বিবাদ মেটান। এরপর ফরিদপুরের অম্বিকা চরণ মজুমদার বাবুর থেকে সাহায্য নিয়ে দক্ষিণা রঞ্জন বাবু পিতৃব্য বা জেঠা রাজেন্দ্র চরণ মজুমদার বাবুর স্মৃতিতে সরকারি রাজেন্দ্র কলেজ তৈরি করেন। ফরিদপুরে পুরাতন সরকারী হাসপাতালে কিছু অংশও তাদের নামে রয়েছে। এই বংশের জমিদার মহেন্দ্র বাবু নগরকান্দাতে মহেন্দ্র নারায়ণ একাডেমী উচ্চ বিদ্যালয় তৈরি করেন। এই বংশের জমিদার সুকুমার রায় বাহাদুর শুধু এখানে থেকে যান। তখন জমিদার বাড়ির অর্ধেক পাকিস্তান সরকারের হস্তক্ষেপে চলে যায়। আর বাকি অর্ধেকে জমিদার সুকুমার রায় বাহাদুর তার পরিবাররা বসবাস করতেন। তবে তিনি বাংলাদেশ স্বাধীন হওয়ার পরে আত্মহত্যা করে মারা যান। সরকার বাড়ির যে অর্ধেক নিয়ে যায়। সেই অর্ধেক তখনকার সরকারী কর্মকর্তারা বসবাস করতেন। জমিদার বাড়ির অধিকাংশ স্থাপনাই এখন প্রায় ধ্বংসের মুখে। সংস্কার করলে সরকারের রাজস্বের ব্যবস্থা হতে পারে।