Nascido em Abragão, Penafiel, e licenciado em Ciências Físico-Químicas pela Universidade de Lisboa, Rui Mário Gonçalves, irmão do pintor Eurico Gonçalves, interessou-se desde muito cedo pelas artes plásticas.
Ocupou-se da secção cultural da Associação da Faculdade de ciências, onde realizou exposições didáticas com reproduções e exposições com obras originais, entre as quais a Primeira Retrospetiva da Pintura Não-Figurativa Portuguesa, 1958. Promoveu ainda conferências e colóquios com diversos especialistas como José Júlio Andrade Santos, Mário Dionísio e José-Augusto França.
Dois anos após se ter tornado crítico de arte, Rui Mário Gonçalves foi premiado pela Fundação Calouste Gulbenkian, em 1963, com o Prémio Gulbenkian de Crítica de Arte. Nesse mesmo ano partiu para Paris como bolseiro dessa fundação, tendo estudado durante três anos com Pierre Francastel.
Após o seu regresso a Portugal, em 1966, passou a desenvolver inúmeras atividades de promoção e divulgação de artes plásticas no país. Colaborou em jornais como A Capital, Expresso, Diário de Notícias, Jornal de Letras, Artes e Ideias, e em várias revistas da especialidade, entre as quais Arquitetura, Colóquio e Colóquio/Artes. Manteve ainda dois programas quinzenais na RDP (Antena 2): As Cores e as Formas (l980-89); A Dádiva das Formas (l995-2000).
Entre 1967 e 1986, lecionou no Curso de Formação Artística da Sociedade Nacional de Belas Artes. Foi também professor nas Escolas de Teatro e de Cinema do Conservatório Nacional de Lisboa, onde entrou em 1972. Era atualmente Professor Catedrático Jubilado da Faculdade de Letras da Universidade de Lisboa.
Foi membro do Conselho Técnico da Cooperativa Gravura, vice-presidente da Sociedade Nacional de Belas Artes e presidente da secção portuguesa da AICA (Associação Internacional de Críticos de Arte) entre 1971 e 1973 e entre 1998 e 2001. No final da década de 1960 dirigiu a galeria de arte da Livraria Buchholz, Lisboa. Era um dos Sócios Fundadores da Associação Casa da Achada-Centro Mário Dionísio.
Proferiu inúmeras palestras e conferências, em Portugal e no estrangeiro, traduziu obras de diversos historiadores de arte, colaborou em enciclopédias, dicionários e histórias da arte.
Participou na investigação de educação pela arte, no Centro de Arte Moderna da Fundação Calouste Gulbenkian, de que resultou a publicação de Primeiro Olhar (2003).
É autor de obras como Pintura e Escultura em Portugal, l940-1980 (1980), O Imaginário da Cidade de Lisboa (1985), Dez Anos de Artes Plásticas e Arquitectura, 1974-84 (em colaboração com Francisco da Silva Dias, 1985), O Fantástico na Arte Portuguesa Contemporânea (1986), Pioneiros da Modernidade (1986), De 1945 à Actualidade (1986), Cem Pintores Portugueses do Século XX (1986), Arte Portuguesa em 1992 (1992), Arte Portuguesa nos Anos 50 (1996), O Que Há de Português na Arte Moderna Portuguesa (1998), A Arte Portuguesa do Século XX (1998), Vontade de Mudança (2004), além de obras sobre os seguintes pintores portugueses do século XX: António Dacosta (1983), Almada Negreiros (2005), Amadeo de Souza Cardoso (2006), Cruzeiro Seixas (2007).