Кирпичная пятиэтажка постройки начала 30-х годов находится на улице Фридриха Энгельса, в ней поэт и его жена занимали одну из комнат на втором этаже в 1936 году во время ссылки. Здание сильно пострадало во время бомбежек в 1942 году, но было восстановлено после окончания Великой Отечественной войны. В 1991 году в честь празднования 100-летия со дня рождения Мандельштама, на стене дома была установлена первая в России мемориальная доска, посвященная памяти ссыльного поэта.
Осип Мандельштам был осужден и сослан в Воронеж по статье 58-10 УК РСФСР (составление и распространение контрреволюционных литературных произведении) за стихотворение «Мы живем, под собою не чуя страны…». Поэт прожил в городе с 1934 по 1937 годы. Здесь он написал цикл стихотворений, позднее вошедших в сборник «Воронежские тетради».