Музей был основан в 1874 году по образцу Музея Виктории и Альберта в Лондоне. В 1877 году он переехал в свои нынешние помещения, здание на Штейнторплатц, построенное в 1873–75 годах.
Между 1919 и 1933 годами под руководством Макса Зауэрландта музей приобрел большую коллекцию работ экспрессионистов. После 1933 года нацистская кампания против «вырожденного искусства» привела к потере многочисленных современных произведений, а также к насильственному уходу Зауэрландта. Здание было частично разрушено бомбами в 1943 году; восстановление было закончено в 1959 году.