E' una collezione unica al mondo perchè riflette la storia della pittura veneta dal '300 al '700.
Le origini delle gallerie risalgono al 1750, quando la Repubblica di San Marco decise di dotare la città di una "Accademia di Pittori e Scultori", sotto la direzione del Piazzetta; nel 1756 vi fu il riconoscimento ufficiale e la direzione passò al Tiepolo. Da questo momento si iniziò a raccogliere le opere degli allievi.
Nel 1807, durante l'occupazione francese, si decise di trasferire la scuola d'arte e le raccolte in un luogo più adatto, la Scuola e la Chiesa della Carità. Fu aperta al pubblico come pinacoteca nel 1817.
Si sono poi aggiunti i quadri che provenivano dalla vecchia Accademia di Pittura e Scultura, quelle provenienti da chiese e conventi.Nel 1919, alla fine della prima guerra mondiale, alcune opere precedentemente sottratte dagli austriaci vennero restituite; numerose altre vennero successivamente acquistate dallo Stato.
Oggi la Galleria costituisce la più vasta e organica raccolta di storia dell'arte veneziana dal XIV al XVIII sec..Tra le opere piu prestigiose: la "Tempesta" del Giorgione, la "Presentazione della Vergine" del Tiziano.