The (よ)う in ~(よ)うとする is volitional. ~(よ)うとする means "try to do ~~" "be about to do ~~", and is attached to the 未然形 (imperfective form) of verbs, as in 「[走]{はし}ろ+うとする」「[歩]{ある}こ+うとする」「[見]{み}+ようとする」etc.
- 私は母を手伝おうとしました。 I tried to help my mother.
- 日が沈もうとしています。 The sun is about to set.
- 出かけようとすると、雨が降ってきました。 When I was about to go out, it started to rain.
~(よ)うとする cannot be attached to ~ない. One way of saying "try not to ~~" would be ~まいとする, e.g. 「走るまいとする」「歩くまいとする」「見まいとする」 etc.
~まいとする sounds a bit literary, and you can instead use ~ないようにする in most cases, like 「走らないようにする」「歩かないようにする」.)
The ように in ~ようにする is 比況・例示・推定の助動詞 (auxiliary of similarity, example or inference) [様]{よう}だ. ~ようにする can mean "make sure that ~~" "make an effort so that ~~" "try to ~~", and is attached to the dictionary form and the ない-form of verbs, as in 「歩く+ようにする」「走らない+ようにする」「見る+ようにする」「見ない+ようにする」, etc.
- 毎日母を手伝うようにします。 I'll make sure I'll help my mother every day.
- 宿題を忘れないようにします。 I'll make sure I won't forget my homework (in the future).
- 犬に近づかないようにしました。(≂ 近づくまいとしました。) I tried not to get close to the dog.