История художественного музея в Калуге отсчитывается от 12 июня 1918 года, когда он был открыт для посетителей в статусе галереи. Основу собрания в то время составила небольшая коллекция из нескольких десятков произведений русских, итальянских, французских, голландских, бельгийских и немецких живописцев и скульпторов, которую собрал и завещал городу врач Никанор Иванович Васильев (1832–1917) для устройства музея при художественно-промышленной школе с рисовальными классами. После революции коллекция начала пополняться из разгромленных дворянских усадеб князей Голицыных (Городня и Железники), князей Горчаковых (Барятино), Кантакузено (Грабцево), Булычева (Пройдево), Гончаровых (Полотняный Завод), Ярошенко (Павлищево) и др. Поступления из них были неравноценными: наряду с работами кисти знаменитых художников (например, портрет вице-адмирала П.Г. Кашкина, по манере близкий к произведениям М.Л. Колокольникова, или портреты супружеской четы Бельченко кисти В.А. Тропинина из имения Сосновка Перемышльского уезда) встречались и произведения доморощенных крепостных живописцев.
В 1924 году вернувшаяся из заграницы скульптор Е.Д. Никифорова-Кирпичникова подарила музею 5 своих произведений. Несколько раньше, в 1922 году, при ликвидации Калужского отделения музейного фонда была передана в неразобранном виде коллекция произведений графики, принадлежавшая прежде князю С.Д. Горчакову.
В связи со сложностями финансирования 1 мая 1924 года художественный музей был превращен в отдел Калужского государственного объединенного музея и оставался в таком положении до июня 1939 года. Это был самый трудный период его жизни, однако усилиями заведующего отделом художника В.Н. Левандовского (1884–1935) коллекция продолжала пополняться. В 1925-м были получены произведения из Государственного музейного фонда, а в 1928-м — из Государственной Третьяковской галереи. В 1934 году несколько работ поступили из Эрмитажа, правда, не те, которые были отобраны В.Н. Левандовским. Вместе с тем в 1930 году собрание музея понесло невосполнимую потерю: эмиссарами Антиквариата были изъяты скульптура Вольтера работы Ж.-А. Гудона, картина Ж.-А.Ватто «Пейзаж с водопадом» и старая копия «Ночного дозора» В.-Р. Рембрандта, сделанная еще до того, как края оригинала были обрезаны. Скульптура и копия картины исчезли бесследно.