MAM foi fundado em 1948, por iniciativa do empresário Francisco Matarazzo, e sua criação foi inspirada no Museu de Arte Moderna (MoMA) de Nova York, sendo concomitante ao surgimento do Museu de Arte Moderna do Rio de Janeiro (MAM-RJ). A fundação do MAM coincide com um período importante de institucionalização do meio artístico brasileiro, também pontuado pelo surgimento do Museu de Arte de São Paulo (MASP), da companhia cinematográfica Vera Cruz, do Teatro Brasileiro de Comédia (TBC) e pela fundação da Cinemateca Brasileira. 

O acervo do Museu de Arte Moderna de São Paulo conta com mais de 5 mil obras, com foco na produção brasileira moderna e contemporânea. O museu mantém uma política de atualização e ampliação permanente do acervo, por meio de aquisições e doações de empresas, artistas e colecionadores.

     A primeira coleção do MAM reunia obras de artistas como Alexander Calder, George Grosz, Marc Chagall, Wassily Kandinsky e Fernand Léger, entre os estrangeiros, e Di Cavalcanti, José Antônio da Silva e Mário Zanini, entre os brasileiros.

Durante a década de 1950, a coleção do MAM ampliou-se por meio de aquisições e doação de artistas e, principalmente, com os prêmios das Bienais Internacionais de São Paulo. Em 1963, no entanto, todo o acervo do MAM foi doado à Universidade de São Paulo, formando a coleção inicial do Museu de Arte Contemporânea (MAC-USP).

Teve início a segunda fase do Museu de Arte Moderna de São Paulo, focada sobretudo na arte contemporânea. Em 1969, por iniciativa de Diná Lopes Coelho, o MAM realizou a primeira edição do Panorama da Arte Atual Brasileira, reunindo a produção artística emergente no país. O Panorama da Arte Brasileira passou a realizar-se periodicamente e as obras premiadas no Panorama passaram a integrar a coleção do MAM.

Nas décadas seguintes, o museu ampliou seu acervo com doações expressivas de empresas e de artistas como Lívio Abramo, que doou xilogravuras realizadas entre 1932 e 1970. Em 1972, o jornal O Estado de S. Paulo doou mais de seiscentos originais de desenhos e gravuras, de artistas como Antonio Henrique Amaral, Antonio Bandeira, Sérvulo Esmeraldo, Mira Schendel e Wesley Duke Lee. Outras coleções passaram a integrar o acervo do museu por meio de doações, como a coleção Paulo Figueiredo e a coleção Kodak do Brasil.

Atualmente a coleção do MAM compreende mais de 5 mil peças, entre pintura, escultura, desenho, fotografia, vídeo, instalação e performance, produzidas por mais de mil artistas. Entre eles figuram os nomes mais expressivos da produção moderna e contemporânea brasileira, como Lívio Abramo, Flávio de Carvalho, Paulo Bruscky, Hélio Oiticia, Lygia Clark, Nelson Leirner, Cildo Meireles, Regina Silveira, Carlos Fajardo, Beatriz Milhazes, Rafael França, Vick Muniz e Rivane Neuenschwander.

O MAM está localizado no Parque do Ibirapuera, a mais importante área verde de São Paulo, entre o Pavilhão da Bienal e a Oca, num conjunto projetado por Oscar Niemeyer, em 1954. 
O edifício do MAM foi reformado por Lina Bo Bardi, em 1969, para abrigar a sede do museu. Fazem parte das instalações do MAM duas galerias de exposição, ateliês, biblioteca e um auditório para duzentas pessoas, além de um restaurante e de uma loja do museu, com objetos de design e produtos com a grife do MAM. 
A área expositiva, o restaurante e os espaços internos estão integrados visualmente à vegetação do parque do Ibirapuera e ao Jardim de Esculturas, que abriga obras do acervo do MAM numa área de 6 mil metros quadrados com paisagismo de Burle Marx.