A munkásnők gyermekeinek gondozására alakult Első Pesti Bölcsőde Egylet a Simor János hercegprímás által adományozott telken kezdte meg működését. Az épület – a mai Józsefvárosi Zeneiskola – Ybl Miklós tervei alapján épült, az építési engedély 1875. szeptember 14-én kelt.
1910-től a II. világháború végéig a neoreneszánsz stílusú épületben a Simor Intézet működött, s a Szent Vince irgalmasnővérek, a „szürke nénék” felügyeletével bölcsőde, óvoda és elemi iskola volt. A háború után szintén oktatási célokra használták.