もし、学生ビザ延長申請を拒否されて、日本にかえらないといけなくなった場合、日本に帰ってからまた新しく学生ビザを申請しなおすことって可能なのでしょうか？

可能 　

可能です。
カナダで学ばなければいけない理由、そして修了後日本に帰国するということを審査官に納得させる必要があります。
何も問題がなければビザを発行する許可証が届きますが、
疑問点や不審点があると面接があります。
過去のカナダの滞在歴、学歴、職歴によっては本当にカナダで学ぶ必要があるのかという疑問から面接有りになる可能性もあるようですよ。
いきなり却下となるかは分からないですが、日本のカナダ大使館は結構厳しいということを聞きました。
　

可能だと思います。
わたしは以前就労ビザの申請が却下され、残念でしたが、よい機会だと思い日本に帰国しました。その後、カナダの学校にいきたく思ったので、日本から学生ビザの申請をしました。
実はカナダ大使館から面接の呼び出しをうけ、すごくビックリし不安に思いました。面接では自分がどうして勉強したいのか、なぜカナダでこの学校なのか、というのを自分の中できちんと道筋をたて正直に話しました。すると、「ああなるほど、そういう考えだったのね。あなたの中でちゃんと理論的な考えがあってこういう申請をしたのね」といって学生ビザをくれました。
東京までいく新幹線代は高くつきましたが、なかなかできない経験ができたかな...と（←強がってます）。でも、日本に帰って、資金面やなんやかやとカナダからでは面倒な手続きがすっきりすませられて、その点はよかったです。日本に帰国されずにすむならそれが1番ですが...。