Scrive Tassini in "Curiosità veneziane" (1887): ...Alcune eremite Agostiniane, che prima occupavano alcune cellette, poste sopra la chiesa dei SS. Ermagora e Fortunato, tradottesi in questo sito nel 1693, vi fabbricarono un convento, ed una piccola chiesa sotto il titolo di Gesù, Giuseppe e Maria. Questa nel 1810 fu chiusa, ed il convento soppresso. I fratelli sacerdoti Cavanis, che fondarono, presso la chiesa di S. Agnese una Scuola di Carità pei maschi, diretta dalla Ecclesiastica Congregazione sotto gli auspici di S. Giuseppe Calasanzio, fondarono pure nel locale già occupato dall'Eremite altra scuola per le femmine, la quale venne affidata alle Canossiane con istrumento 2 luglio 1863.