FIDOやハイドロの支払いのために、TDの窓口を利用する場合、請求書を見せて現金で支払うんですか？そうすると一度ATMで現金を引き出さなくてはいけないですよね？
それとも窓口でデビットカードを使って支払えるんでしょうか？

窓口でもデビットのようにできますが、手数料がかかるかも。
ATMで直接するか、インターネット、電話、で払ったほうがいいですよ。アカウントの登録方法がわからなければ（ｗｅｂでは簡単です）窓口でたしか無料で登録してもらえたはずです。