Fine by me はどのようなときに使うのですか？

スラングです。意味は：
「どうでもいい。」
「いいよ。構わないから。」

例
A: I know you said you’d prefer the other movie, but everybody else wants to see this movie. Is that OK with you?
B: Fine by me, if that’s what everybody wants.

あまり正しくない英語だけど… 　

返信ありがとうございます。

なるほど・・よくわかりました。
よく使われるスラングですね。

ニュアンス的には、特に失礼な、あるいは(キツイ)言い回しではないのですか？ 　

言い方次第だけど、きつい言い回しではないんじゃない？
日本語にするなら「自分的にはＯＫっす。」みたいな感じ。
公の場ではあんまり使わないようにね。