「物理的に繋がっている」と「論理的に繋がっている」は別だからです。

物理的に繋がっていても、ネットワークアドレスが違うアドレスから来るパケットはNIC(LANカード)が自動的にスルーするようになって居ます。

電気的に信号が届いていても「無視する事になっています」ので、Pingの返答が来ないのは当たり前です。

ネットワークアドレスが異なる２つのネットワークを跨ぐ場合は、ゲートウェイを通す必要があります。

ＰＣ１
(192.168.0.2)
｜
(192.168.0.1)
ＧＷ
(192.168.1.1)
｜
(192.168.1.2)
ＰＣ２

ここで、ＰＣ１からＰＣ２に向かってpingを飛ばすと
「取り敢えずの今の行き先は192.168.0.1で、最終的な行き先は192.168.1.2で、本当の発信者は192.168.0.2で、取り敢えずの発信者も192.168.0.2」
と言うパケットがＰＣ１から投げられます。

ＧＷの上側のポートがこのパケットをLAN上で拾うと
「取り敢えずの発信者が192.168.0.2で同じネットワーク内だし、取り敢えずの今の行き先は192.168.0.1だから俺のだ」
と、このパケットを取り込み
「最終的な行き先は192.168.1.2だから、下側のポートの192.168.1.1から投げよう」
と、パケットを
「取り敢えずの行き先と最終的な行き先は192.168.1.2で、本当の発信者は192.168.0.2で、取り敢えずの発信者は192.168.1.1」
と組み替えてから、下側のポートで投げます。

ＰＣ２は
「取り敢えずの発信者が192.168.1.1で同じネットワーク内だし、取り敢えずの今の行き先は192.168.1.2だから俺のだ」
と、このpingパケットを拾い上げます。

pingへの返答は、上記の逆の手順になります。

ここで重要なのは「取り敢えずの発信者が同じネットワーク内だし」の判定部分です。

この判定チェックは「サブネットマスク」と言うデータでＩＰアドレスと演算され、演算結果が一致した場合にのみ「同じネットワーク内」として判定され、パケットが無視されるのを防ぎます。

IPアドレス:192.168.0.1
サブネットマスク:255.255.255.0
の２つのアドレスの４つの数字をそれぞれＡＮＤ演算すると
ネットアドレス:192.168.0.0
が求まります。

IPアドレス:192.168.0.2
のネットアドレスは
ネットアドレス:192.168.0.0
になり、
IPアドレス:192.168.1.2
のネットアドレスは
ネットアドレス:192.168.1.0
になります。

２つのネットアドレスは、３つ目の数字が異なる為「同じネットワーク内ではない」となります。

なので、ゲートウェイを入れずにＰＣ１とＰＣ２を直結すると
「取り敢えずの今の行き先は192.168.1.2で、最終的な行き先は192.168.1.2で、本当の発信者は192.168.0.2で、取り敢えずの発信者も192.168.0.2」
と言うパケットがＰＣ１から投げられ、ＰＣ２は
「取り敢えずの発信者が192.168.0.2で違うネットワークだから無視」
と、パケットを拾いません。

なお、ＰＣ１、ＰＣ２のサブネットマスクを
サブネットマスク:255.255.255.0
ではなく
サブネットマスク:255.255.0.0
に変更すると、ＡＮＤ演算の結果がどちらも同じになり
ネットアドレス:192.168.0.0
となって、直結で通信出来るようになります。

また、直結の時はクロスケーブルを使うか、ＨＵＢを間に入れてストレートケーブルで繋いで下さい。