Le musée est fondé en 1986 avec pour mission d'abriter la collection d'objets d'art cycladique et d'antiquités grecques appartenant à Nikolaos et Dolly Goulandris. Depuis le début des années 1960, le couple a collectionné des antiquités grecques, avec un intérêt spécial pour l'art préhistorique des Cyclades, îles de la Mer Égée. Le bâtiment principal du musée est érigé dans le centre d'Athènes en 1985, réalisé par l'architecte grec Ioannis Vikelas. En 1991, le musée s'agrandit d'une nouvelle annexe, le Megaron Stathatou, un bâtiment de style néo-classique construit en 1895 par Ernst Ziller, situé au coin de l'avenue Vasilissis Sofias et de la rue Herodotou.