Начало коллекции русской графики было положено в период формирования музея. Уже в первой экспозиции 1896 года были представлены многочисленные карандашные рисунки, акварели, гравюры Петра Басина, Николая Каразина, Николая Кошелева, Василия Матэ, Андрея Рябушкина, Андрея Шильдера и других художников.
В последующие годы в музей поступили работы Александра Бенуа, Владимира Боровиковского, Виктора Васнецова, Федора Матвеева, Ильи Репина, Алексея Саврасова, Ивана Шишкина, выполненные в различных графических техниках.
В 1960-1970-х годах из частных собраний были приобретены такие шедевры графики, как «Швейцарский пейзаж» Федора Матвеева, «Портрет К.А.Обнинской с зайчиком» Валентина Серова, исторические пейзажи-реконструкции Аполлинария Васнецова, работы Зинаиды Серебряковой.
На сегодняшний день коллекция русской графики является самой крупной в музее и насчитывает около 4000 произведений, созданных в XVIII-XX вв.