結論
XcodeのBuild Active Architecture Onlyを有効にすることで、開発時などに使う端末のアーキテクチャのバイナリのみを生成できるようになり、ビルド時間を削減することができるようになります。基本的には、デフォルトで有効になっています。(なぜかstaging環境作った時にNoになってた、、)
ONLY_ACTIVE_ARCH = YES
ちなみに、Release環境は様々なアーキテクチャでアプリケーションを実行する必要があるので、Noに設定されます。