1926年、実業家・佐藤慶太郎の寄付により日本初の公立美術館として開館した。現在の建物は1975年に竣工し、建築家・前川國男が設計を手がけた。

上野恩賜公園の風致地区指定により建物の高さが制限されており、延床面積の約6割が地下部分にある。2010年から2012年にかけて大規模改修工事が行われた。