「違法」と「犯罪」の違いについて。 簡単に言うと「違法」は民事に関わるものに...

浮気・不倫が現在の日本では犯罪でないのはその通りですが、
違法と犯罪との関係性は誤解しておられます。
なお離婚調停など私法の場では、浮気は「不法行為」と呼ばれます。

「犯罪」が成立するためには、犯罪に該当する行為と
法的に非難される「違法性」が必要です。
例えば人を殺すのは殺人ですが、刑務官が死刑囚に対して
刑を執行するのは（違法性の無い）正当な業務行為です。
正当防衛や緊急避難と同じく「違法性阻却事由」といいます。

犯罪には刑罰が定められていますが、違法行為には刑罰が定められていない事が多いですね。

労働基準法違反なんかは、法律に違反した違法行為だけど
必ず処罰される訳ではないですよね。
犯罪行為には警察が動くけど、違法行為には警察が必ず動くとは限らないですよね。

学校に例えるなら、
授業をさぼる、タバコや酒を飲む行為が『違法行為』だとすると、

犯罪行為は、猥褻行為をする、学校の金を盗む、学校に火をつける
先生に暴行を加えるなど 警察が動くレベルというか親が訴えられるレベルでしょうか。

浮気に関する考え方は基本的に質問内容通りですが、簡単に対比させるならば、刑事は「違法」、民事は「不法」が一般的です。