How about 成長するにつれて, 成長すればするほど? And you can say 大人になる or 年を取る instead of 成長する.

In addition, 子供の頃,昔のこと are more natural.