Die Josefine und Eduard von Portheim-Stiftung wurde 1919 von Prof. Dr. Victor Goldschmidt gegründet. Victor Goldschmidt, aus wohlhabenden jüdischem Elternhaus stammend, war ein international renommierter Wissenschaftler, Forscher, Gelehrter und Sammler, und darüber hinaus außerordentlich großzügiger Mäzen. Bis zum 2. Weltkrieg unterhielt die Stiftung zusätzlich zum Museum eine Reihe von Forschungseinrichtungen.
Das Interesse an Wissenschaft und Kunst sowie seine kenntnisreiche und begeisterte Sammeltätigkeit teilte Victor Goldschmidt mit seiner ebenso kosmopolitischen wie gebildeten Gattin Leontine, geb. von Portheim. Seine umfangreichen Sammlungen bilden den Gründungsbestand des Museums. Das Museum befindet sich nach wie vor in der alleinigen Trägerschaft der Stiftung. Die dunklen Zeiten des Dritten Reiches haben Victor und Leontine nicht überlebt, und auch die Stiftung hat sie nicht unbeschadet überstanden.