I erindringsbogen ”Man havde tid til at blive voksen” fortæller kunstner og kunstkritiker Walter Schwartz om sin opvækst og ungdom omkring år 1900 i København, Fredensborg og Skagen og giver et indblik i sin slægts historie. Vi hører blandt andet om faderen Otto Schwartz og hans intellektuelle venner, da dannede klubben KWIMS, og om storebror Erik, der døde af blindtarmsbetændelse.