It all might have been a trick of my imagination ...

trick of my imaginationは気の迷いと辞書に載ってました。「すべてそれは気の迷いだったのかもしれない」と訳すのが適切でしょうか？

その訳でいいと思いますよ。
ただ前後の文章によって解釈の仕方が多少変わってくると思います。
私の思い違いだったのかもしれない、とか、勘違いだったのかもしれない、とか。