こんにちは。
現在カナダの大学に通っているのですがカナダからアメリカに入るときにはエスタのことは言われないのに、コスタリカからアメリカ経由でカナダに戻ったときはエスタが必要と言われました。

どういう仕組みになっているのでしょうか。

エスタのホームページを読んでください
日本のパスポートを持っている人は飛行機でアメリカに入国時、事前にエスタに申し込んでおく必要があります。
陸路、カナダ人は必要なし

陸路でも必要ですよ
私はこの前陸路で持っているか聞かれました

正式に陸路では必要になってないですが、係官が取るように言ってるようです。
その方が係官の手間が省けるからかと思われます。
もし絶対に必要ということなら入国拒否されますしね。