Дворец является одним из самых известных архитектурных памятников столицы (конца XVII века) и интереснейшим мемориальным объектом, связанным с князьями Юсуповыми, А.С. Пушкиным и другими видными деятелями истории и культуры. Как и многие другие древние здания, дворец окутан множеством загадочных легенд. Например, говорят, что на этом месте был охотничий домик Ивана IV. Подземный ход от него вел прямо в Кремль. Это был целый подземный лабиринт, позволяющий царю неожиданно появиться там, где его ждали меньше всего. Была там и подземная тюрьма с пыточными камерами и подземными мешками. Подтверждение этим слухам нашлось в 1991 году, когда во время ремонтных работ было найдено таинственное подземелье с останками узников, прикованных цепями к стенам.
Каменных жилых зданий, относящихся к эпохе Московской Руси (конец XV – XVII вв.), в Москве насчитывается несколько десятков. Однако не многие жилые здания XVII века, почти полностью сохранили как основной, так и первоначальный объем и первоначальную планировку. Кровли с трубами-дымниками – поздние, но воспроизводят формы завершений допетровских палат.