2009年からフルで（2014年を含め）銀行AにTFSAを持っていたら、contribution額+利子があります。
今回、自分のTFSAをそっくり銀行Bに移行しようかと思っていますが、振込の時、利子を省いた金額で計算しないと罰金になってしまうでしょうか？つまり、＄5000ｘ４　+　＄5500ｘ２　オンリーの合計金額のみの入金になるでしょうか？

ついでに銀行Aのクレジットカードをキャンセルして、新たに銀行Bのクレジットカードを作ろうと思っていますが、これも、自分のクレジットヒストリーを失ってしまうことになるのでしょうか？　銀行Aは長く利用してきたので、このまま置いておくのもありかなと思うのですが、クレジットカードは複数持ちたくないのでキャンセルしようと思っています。

銀行で相談するのが一番だと思いますが、
銀行Aから銀行Bにトランスファーするには、銀行同士で直接やってもらうことになると思います。
その時銀行Aが銀行Bに残高全額（利子も含めて）、直接小切手を送ると思います。

クレジットヒストリーは銀行とは関係ありません。複数の金融機関を使ってもヒストリーは失われません。
クレジットヒストリーは、別の機関がその人の借金とか返済とかを追跡調査しているもので、その銀行だけが内部で管理しているわけではありません。