พระราชวังบางปะอิน อยู่ห่างจากเกาะเมืองมาทางทิศใต้ประมาณ 18 กิโลเมตร ประวัติความเป็นมาตามพระราชพงศาวดารกล่าวว่า พระเจ้าปราสาททองเป็นผู้สร้างพระราชวังแห่งนี้ เนื่องจากบริเวณเกาะบางปะอินเป็นที่ประสูติของพระองค์และเป็นเคหะสถานเดิม ของพระมารดาซึ่งเป็นหญิงชาวบ้านที่สมเด็จพระเอกาทศรถทรงพบเมื่อครั้งเสด็จ พระราชดำเนินโดยเรือพระที่นั่งแล้วเรือเกิดล่มตรงเกาะบางปะอิน
พระเจ้าปราสาททองทรงพระกรุณาโปรดเกล้าฯ ให้สร้างวัดขึ้นบนเกาะบางปะอินบริเวณเคหสถานเดิมของพระมารดาในปีพ.ศ.2175 พระราชทานชื่อว่า “วัดชุมพลนิกายาราม” และให้ขุดสระน้ำสร้างพระราชนิเวศน์ขึ้นกลางเกาะเป็นที่สำหรับเสด็จประพาส แล้วสร้างพระที่นั่งองค์หนึ่งที่ริมสระน้ำนั้นพระราชทานนามว่า พระที่นั่งไอศวรรย์ทิพยอาสน์