Scrive Tassini in "Curiosità veneziane" (1887): ...Giacomo da Fano, eremita Agostiniano della Congregazione dei Brittini, o Brittinesi, venuto a Venezia nel 1240, poté acquistare due anni dopo un terreno vacuo a Castello, e fabbricarvi una chiesa ed un convento sotto l'invocazione di S. Anna e Caterina pei Religiosi del suo Ordine.
La chiesa di S. Anna, riedificata nel 1634 sopra il modello dell'architetto Contin, ed il convento, ristaurato nel 1765, vennero secolarizzati nel 1807, e nel 1810 ridotti a Collegio di Marina [Attualmente è sede dell'ospedale militare].