Владельцем рязанского дворца был купец-миллионер, винный откупщик Гаврила Васильевич Рюмин (1751–1827). Дом Рюмина, отличавшийся своими размерами и роскошными интерьерами, на протяжении многих лет являлся центром как общественной, так и светской жизни города. Здесь давались торжественные ужины, балы и званые вечера, не раз дворец посещали и царствующие особы, в частности, император Александр I. После смерти Г.В. Рюмина огромное состояние было поделено между его детьми. Старшим сыном Николаем дворец в 1833 году был подарен Рязанской губернской гимназии под пансион для дворянских детей. Число воспитанников пансиона доходило до ста человек, имена многих из них впоследствии составили славу отечественной истории и культуры. Здесь обучались художник П.И. Боклевский, поэт Я.П. Полонский, историк Д.И. Иловайский. С началом Первой мировой войны здание было использовано для размещения военнопленных и госпиталя, а с упразднением гимназии в 1918 году пансион официально прекратил свое существование. В последующие годы советской власти некогда роскошное здание стало прибежищем различных контор и квартир их сотрудников, напоминая, по выражению современников, перенаселенную «воронью слободку».
Возрождение старого дворца произошло в 1980 году, когда после реставрации в нем разместился переведенный из малоприспособленного консисторского корпуса Рязанского кремля Рязанский областной художественный музей.
Коллекция музея начала складываться в период «музейного бума» конца ХIХ – начала ХХ веков, когда были открыты первые российские провинциальные музеи, основанные, как правило, на уже сложившихся собраниях дарителей. Уникальность рязанской истории в том, что музей был создан практически «на пустом месте» по инициативе местной интеллигенции.
В 1913 году властями было зарегистрировано «Общество Рязанского художественно-исторического музея», взявшее имя знаменитого земляка, художника-гравера, профессора Академии художеств Ивана Петровича Пожалостина (1837–1909). Учредителями Общества выступили 19 рязанских любителей искусства: учителя, врачи, служащие, обратившиеся через местные и столичные газеты с просьбой к «художникам и любителям искусства» подарить свои работы и принадлежащие им произведения искусства в организуемый музей. В 1915 году открылась его первая экспозиция, скромный каталог которой включал всего 72 наименования. Живописный раздел по качеству оказался таков, что многие работы, хотя музейная коллекция выросла в сотни раз, и сейчас занимают центральные места в экспозиции искусства начала ХХ века