私なら、こう伝えます(文法とか間違ってるかもしれないので参考だけにしてください)
I’ve noticed that I often have temporary memory loss. I keep forgetting things and sometimes cannot even remember a whole episode, just like amnesia. One time I .... (と記憶が抜け落ちた時の状況を述べる)
多分この時点で、医者はいろいろ質問してくると思いますが、もし何もしてくれそうにないのであれば、
I really would like to see a specialist, because I am afraid that I may have a severe brain problem.
のように、プッシュしてみてはいかがでしょうか。