Ybl Miklós a palotát Pálffy Pálné felkérésére 1867-ben XV. Lajos franciás stílusában tervezte. Érdekes a telek beépítése. A saroknégyszög szabadon maradt a kert számára, mögötte emelkedik derékszögben, szomszédos tűzfalakra támaszkodva, a ház. Az eredmény: több levegő, világosság és nagyobb elegancia. A sima falak, az ablakok szegmentíves felső kerete és a kemény, egyenes vonalú meredek manzardtető XV. Lajos stílusára utal. A ház alsó részében Pálffyné lakott a gyermekeivel, a felsőbb szintek bérházként, külön bejárattal voltak megközelíthetők. Ez ma is így van, az alsó részen a Fővárosi Szabó Ervin Könyvtár Zenei Gyűjteménye található, feljebb a könyvtár irodái vannak, illetve egy nagyobb 750 négyzetméteres részt bérbe adtak.

A kerti rész egyik oldalán a palota egytengelyes rizalitban ugrik elő, itt az ablakok részben hármas osztásúak, mellette az utca felé a földszintről két ágban félköríves, meghitt lépcső vezet a kertbe. A másik kerti homlokzaton, a félemelet miatt, mélyebbre kerültek a földszint rácsos ablakai miáltal hatásabb artisztikusabb, régiesebb lett.

A palotát 1937-ben a Málta Ápolónő Egyesület székházának építették át, 1944-ben súlyosan károsodott. 1949-től iskola lett, 1965 és 68 között felújították, majd a Varga Katalin Leányotthont, kollégiumot helyezték el benne. A Fővárosi Szabó Ervin Könyvtár felújításakor ezt a palotát is felújították, kimondottan a Könyvtár Zenei Gyűjteménye részére. A ház felújításakor meghagyták az emeleti és a földszinti szép márvány kandallókat. Az olvasótermeket a Szépművészeti Múzeum festményeinek tartós betétként kihelyezett másolatai díszítik.

Érdemes a borostyánnal magasan benőtt udvarra is bemenni, hajdan itt a lovakat helyezték el, itt voltak az istállók és kocsishelyiségek. Bár ez nem a legnagyobb hazai zenei könyvtár, az elsők a Zeneakadémiáé, a Tudományos Akadémiáé és az Országos Széchenyi Könyvtáré, de kölcsönözhető állományában ez a legnagyobb.

(forrás: Ybl Ervin: Ybl Miklós, Budapest 1956)