A korábbi fürdő sorsát a Ferenc József híd építése pecsételte meg, mert a hídhoz a mai Gellért teret jelentősen fel kellett tölteni, így a fürdőt 1894-ben lebontották.
 
Az első fürdőt és a hozzá kapcsolódó kórházat még II. András királyunk (1205–1235) alapította, midőn a Szentföldről visszatért. Más forrásokban az olvasható, hogy már 1178-ban volt itt egy fürdő, amelyet a johannita lovagok működtettek. A törökök, akiknek gazdag fürdőkultúrájuk volt, a többi budai hőforrással együtt ezt is használták. Ebben az időben Acsik idzse néven ismerték mindazok, akik magukat különböző bajokból, köztük a „francia betegségből”, azaz a szifiliszből szerették volna kikúrálni. 
 
 
A Sáros fürdő a Vasárnapi Ujság 1866-os évfolyamának 16. számában látható metszeten
 
A török idők után előbb I. Lipót háziorvosáé volt a fürdő, majd 1718-ban Buda megvásárolta, és 89 évig a város üzemeltette. A XIX. században, 1809-től ismét magántulajdonba kerül a fürdő, amely fölé 1832-ben egyemeletes szállodaépületet is emelnek. 
 
A neve előtte Aga fürdő volt, majd a Sáros fürdő név terjedt el annak köszönhetően, hogy a medencék alján a forrásvízzel feltörő finom iszap lerakódott. A fürdő vize 44-48,7 fok között változott, attól függően, hogy milyen volt a Duna vízállása, mert magasabb víznél melegebb volt a forrás vize. A fürdőnek egy nagy medencéje volt, amelyet a nők és a férfiak együtt használták, fejenként 6 krajcárért.
 
Az Aga és a Sáros fürdő név mellett a „szüzek fürdője” néven is emlegették, amelynek eredetére több magyarázatot is találhatunk:
– A török korban a legenda szerint itt fiatal szüzeket tartottak elzárva, akik egy aga vagy egy basa háremhölgyei lehettek, vagy esetleg olyan elrabolt lányok, akiket később másnak adtak tovább. 
– A név eredetére az is lehetséges magyarázat, hogy a fürdő feletti barlangban lakott egy remete – a legendák tudni vélik, hogy a mai sziklakápolnában valóban élt egy Iván nevű remete szerzetes –, akihez a környék szűz lányai jártak lelki tanácsért.
– A harmadik névmagyarázat szerint a „szüzek fürdője” pont az ellenkezőjére utal, ide jártak ugyanis a környékbeli bordélyokból a prostituáltak fürdeni, és esetlegesen új üzleteket kötni. Még arról is szól a fáma, hogy a fürdőnek azon részét elkerítő kerítésen, amely a nők területét övezte, és amelyen belül a fürdőzők meztelenül tartózkodtak, több lyuk is volt, amelyet a leskelődők ki is használtak. 
– Persze az is lehetséges magyarázat, hogy a víz mindenféle női bajban is segített, amelynek jótékony hatását a hajadon lányok is kihasználták. 
 
De milyen is volt akkor ez a fürdő? A lebontása után 5 évvel 1899. október 22-én a Pesti Hírlapban így emlékeztek az intézményre:
„ Nagyapáink és édesapáink előtt, akik a vidéken éltek, szörnyű nagy hire volt a budai Sáros-fürdőnek, amely mindenféle csuzt és reumát meggyógyított. Ez a régi Sáros-fürdő piszkos és barátságtalan fürdő volt ugyan, de a maga idejében mégis nagy szerepet játszott, mert akkoriban az utazás nem ment olyan könnyű szerrel, mint most, azután a hegyek közé ékelt fürdőket nem kapták föl. A többi budai fürdő sok tekintetben hasonlított hozzá s kényelmet egyik sem nagyon biztosított, igy történt, hogy a polgárság szegényebb része a Sáros-fürdőben keresett gyógyulást. Az újabb idők beálltával azonban az ósdi és piszkos Sáros-fürdő napja leáldozott, mert hát a konkurens fürdők ébredni kezdtek s messze túlszárnyalták.”
 
 
A Sáros fürdő helyén az új szálló építéséig táncterem működött (Fotó: Fortepan) 
 
Miért lett téma az újságokban 5 évvel a lebontása után a Sáros fürdő? Azért, mert 1899-ben döntötte el a főváros vezetése, hogy az egykori fürdő helyén újat épít. „A Sáros-fürdő megmarad. A Ferencz József-híd építésével a régi jóhatásu Sáros-fürdőt lerombolták, a forrást pedig a Dunába vezették. A közmunkák tanácsa a fürdőt most újra föl akarja építeni” – írta a Magyarország 1899. október 22-én.
 
A döntést azonban nem követte azonnal a tett, mert a telket csak 1901-ben sajátította ki a Közmunkatanács, a pályázatot 1905-ben írták ki, és az építkezés csak 1912-ben kezdődött el. A munkálatok 1918-ig tartottak, pedig még orosz hadifoglyokkal is végeztettek munkát.
 
Európa akkor legmodernebb luxusfürdője az új, Szent Gellért Szálló és fürdő néven végül 1918. szeptember 20-án nyitott meg.