おかしくなる時の流れが分かりました。
イラレで作ったものをフォトショップにスマートオブジェクトとして張り付けたり、ライブラリから呼び出したものをSVGで書き出すとおかしくなります。

フォトショップ上でスマートオブジェクトを作成してSVGに書き出してもダメなのでスマートオブジェクトからの書き出しは全般でダメみたいです。
フォトショップ上ではグループやシェイプで書き出すか、イラレで出力するしかないですね。