れいぞうこ の なか に ケーキ は 3こ ありました.

せんしゅう 、かんじ を 20こ おぼえ ました.

In the above examples, why does こ come after the number? Is it a counter? If yes, at what instances can it be used? If not, please advise how and when it should be used.