25 июня 1880 года открыли новое здание Ермоловских ванн в городе-курорте Пятигорске. Первые деревянные Ермоловские ванны были построены в 1819–1821 гг., названы в честь русского генерала А. П. Ермолова, много сделавшего для развития Кавказских Минеральных Вод.
Здание ванн находилось на специально подготовленной площадке на северном склоне Горячей горы. К ваннам по склонам горы было проведено шоссе для подъезда больных в экипажах. Прослужив более полувека, в 1874 г. обветшавшее деревянное здание разобрали. Новое одноэтажное здание начали строить в 1879 г. около Николаевских ванн на Царской улице по проекту архитектора Владимира Иосифовича Грозмани.
В. И. Грозмани родился в 1840 г. в семье петербургского чиновника. В 1862 г. окончил Санкт-Петербургское строительное училище со званием архитекторского помощника в чине 10 класса (коллежский секретарь), был назначен в распоряжение Наместника Кавказского на должность городским архитектором Владикавказа. В 1867–1871 гг. был войсковым архитектором, затем производителем работ в Терской области. В 1873 г. был удостоен звания инженера-архитектора. С 1874 г. служил старшим архитектором Терской области, а в 1897–1900 гг. — главным областным инженером. В 1874–1897 гг. участвовал в проектировании и сооружении казенных и частных зданий на КМВ.
Новое здание Ермоловских ванн строилось по инициативе начальника Терской области генерала А. П. Свистунова на средства военного ведомства, предназначалось только для военнослужащих, имеющих особое разрешение от начальника Кавказской области. Изначально ванны рассчитаны были на 16 кабин. Воду получали серную из так называемой "Александровской штольни", пробитой в Горячей горе французским гидрогеологом Жюлем Франсуа.
Постройка здания Ермоловских ванн была выполнена из кирпича розового и жёлтого цветов, а высокий цоколь — из машукского камня. Работы выполнены в стиле кирпичной эклектики с элементами "русского стиля".
В 1887 г. здесь открыли первые на курорте кабины для лечения грязью Тамбуканского озера, популярность процедур грязелечения быстро возросла. Ермоловские ванны в 1902 — 1914 гг. — главная грязелечебница города-курорта Пятигорска. В настоящее время в старом здании находится одно из отделений клиники.