С этим домом связаны имена декабристов А. Н. Муравьева и И. А. Анненкова, здесь бывал во время приезда в Нижний Новгород французский романист А. Дюма.
В 1860-е гг. А. О. Карелин, нижегородский художник-фотограф, отец основателя музея А. А. Карелина, и Л. В. Даль, академик, архитектор, исследователь мировой и русской культуры, открыли в губернаторском доме первую в городе общедоступную художественную школу.