ふろ釜(追い焚きのところ)は掃除した方がいいの?

したほうがいいと思います。
交換工事をしておりますと、配管の内側に湯垢がびっしりこびりついているのを多く見かけます。雑菌の塊ですので、少なくとも衛生的ではないですね。市販品でふろ釜掃除用洗剤が数多く発売されていますので月に一度くらいは使用してお掃除するとよろしいかと思います。