マクロの残骸が残っているのか何なのかよくわからないのですが、何らかの設定を行ったExcelファイルをPOIで読み込んで、ファイル出力したものを、Excel 2002以降で開こうとすると、以下のようなダイアログが出ます。
ちなみに、同ファイルをExcel2000で開くとダイアログは出ません。また、1から作った''キレイ''なExcelファイルであれば問題ありません。