A nyitást követően rövid idő alatt magas látogatottságúvá vált Pest város második közfürdője, amely az egykori Kirakodó téren (később Roosevelt, ma Széchenyi István tér 3. szám) alatt működött. A területet, melyen eredetileg a császári-királyi Sóhivatal állt, 1821. március 12-én vásárolta meg Pfeffer Ignác ügyvéd és felesége, Seeder Terézia 32 000 bécsi forintért, majd Hild Józseffel egy kétemeletes lakóházat terveztetett ide 1823-ban. Hildnek, aki megteremtette a város belső kerületeire jellemző belső udvaros, függőfolyosós bérháztípust, ez volt a legkorábbi épülete a Duna-parti palotasoron.

Az egykori Kirakodó téren körben a továbbiak: a Diana fürdő mellett állt a Libaschinszky-Koburg-palota, a Lloyd-palota, a Nákó-palota, az Ullmann- és a Wieser-ház (a későbbi Európa szálló) – valamennyi az ő munkája, és ma már egyikük sem áll. A ház felső szintjén Pfeffer lakásokat alakíttatott ki, a földszinten pedig egy közfürdőt. Pesten ekkor csak egyetlen közfürdő működött, a Rumbach Sebestyén üzemeltette „vasasfürdő” a mai Podmaniczky utca – Munkácsy Mihály utca sarkán.

                                          A pesti rakpart palotái, középületei a Várból. Előtérben a Lánchíd utca házai a Diana fürdővel. Az eredeti kép Budapesten készült 1900 és 1902 között (Forrás: FSZEK Budapest Gyűjtmény).

Hild ragyogó alaprajzi szervezésének szép mintája ez a ház. A főhomlokzat középtengelyét rá jellemzően a bejárattal hangsúlyozta.  A széles ívű kapualj egy oszlopsorral körülvett négyszögletes csarnokra nyílt. Kitűnő akusztikája miatt a térben előadásokat, koncerteket rendeztek. Az ovális fülkékkel tagolt teremben Diana istennő szobra, a bejáratnál Minerva és Apolló mása állt, az udvarban és a lépcsőházban a földekből előkerült római szobortöredékeket helyezték el. Az oszlopsor mögötti árkádról nyíltak a szobák, 18 tágas fürdőfülke. Ahogyan Buza Péter is megjegyzi, a víz a Dunából facsöveken érkezett, a gyűjtőmedencében felmelegítették, innen a kádakhoz vezették. A városrendezés előírta a tulajdonosnak, hogy a vízparti kutat az úttestburkolatokhoz hasonló kő fedlappal kell borítani.

  Carl Vasquez grafikája 1837-ből (Forrás: FSZEK Budapest Gyűjtemény)

A fürdő nagyon rendezett volt, elegáns, a magas árak miatt főleg a közép- és felsőosztályok látogatták. Híres vendégei közt találjuk Széchenyi Istvánt, a gróf 1827–1832 között lakott a Diana első emeletén.  

Kazinczy Ferenc 1828-ban a következőt jegyezte fel a fürdőről útleírásában: A „Dunaferdőnek nevezett” háznál „kocsisom szinte kényszeríte, hogy itt szálljak ki s nézzem körül magamat az udvarban: Csudámat fogom ott látni! – úgymond.” Ekkor még Dunafürdőnek nevezték az intézetet, egészen 1835-ig ezen a néven találjuk meg a hivatalos iratokban. Ezt követően kapta meg a Diana nevet, vélhetően a teremben felállított szoborról, de Buza szerint elképzelhető, hogy a Bécsben ekkortájt működő Diana fürdő nevét utánozta le a tulajdonos. 

Az 1849-ben Hentzi ágyúitól súlyosan megsérült az épület. A kigyulladt tetőzet teljesen leégett és kiégtek a lakószobák is. „Borzasztó éj után borzasztó napra virradánk! Tegnap este 7 órakor megkezdetett Pest bombáztatása s szünet nélkül folyt éjfélig. Irtózatos golyók, bombák, rakéták, pelotontüzek egymásra röpültek, s a szép és virágzó Lipótváros nagy része ma rom! A Redout, Német ideiglenes színház, lipótvárosi kat. egyház, Dunafürdő, Emmerling-hotel, Angol királyné teljesen leégvék. S ezenkívül mennyi magános ház! Alig van utca, melyben 1–5 házig semmivé ne volna téve, s alig van ház, mely bombanyomot ne hordana magán!” – írta a Pesti Hírlap 1849. május 15-én.

                                   Oszlopsorral körülvett négyszögetes csarnok, Carl Vasquez (Forrás: FSZEK Budapest Gyűjtemény)

A házat az örökös, ifj. Pfeffer Ignác újjáépíttette. Pfeffer kérvényezte a városvezetésnél, hogy a fürdőt gőzfürdővé alakíthassa és kibővíthesse. A képviselők egy része ezt nem támogatta, úgy gondolták ugyanis, hogy nincs szükség újabb gőzfürdőre, elegendő a Schreibl-féle intézet (Kiskereszt, mai Kazinczy utca), végül mégis kiadták az engedélyt. A tervezésre az ifjabb fürdőtulajdonos is Hild Józsefet kérte fel, aki 1864-ben a további átalakítások során kőkádakra cserélte a réz- és fakádak egy részét. Ekkor már állt a Lánchíd, ami a teret kereskedelmi központtá emelte, így a fürdő is egyre látogatottabb volt. 1879-ben 2800 fürdővendég járt ide.

Miután a Lánchídon megindult a forgalom, a pestiek hamar felfedezték magunknak az elegáns budai fürdőket, amelyekkel szemben a Diana minden szépsége ellenére alulmaradt. Ráadásul a századfordulón a közép- és felsőosztályok otthonaiban általánossá vált a fürdőszoba, így ezek a családok már nem igényelték rendszeresen a fürdőlátogatást. A Pfeffer-örökösök eladták az ingatlant a Pesti Magyar Kereskedelmi Banknak, amely lebontatta Hild művét, hogy egy eklektikus bérpalotát építsen a helyébe, amely ma a Belügyminisztériumak ad helyet.

         A Pesti Magyar Kereskedelmi Banknak adott helyet az új épület, a fotó 1906 után készült (Forrás: FSZEK Budapest Gyűjtemény)