著作権法の「著作物」の定義は以下の通り。

これを見てふと思ったのは「プログラムって思想や感情を表現したものではないから著作物にはならないのでは？」ということです。親切にも法律には著作物の例示があり「プログラム」も含まれているのですが、元の著作物の定義からはプログラム、いや論文とかだって外れるのでは？
で、検索してみるとどうも「思想又は感情」というのは「人間の精神活動全般」を指し創作性さえあればいいようです。そして逆に言えば創作性が無ければ著作権も無い、と。
参考： 新谷由紀子、菊本虔「自然科学系の学術論文は著作物となり得るか」

そしてこれは「声に著作権は無いから法律的に問題ないんだぜw」とかと違い、一般常識とも合致する判断なのです。

自然法則などは「誰が観測しても同じになるもの」なので、別々の科学者が「F=maという物理法則を発見した！」という論文を出してもおかしくなく、「F=ma」という結論部分には著作権は発生しません。もしそこで著作権が発生してしまうと自然法則が個人に独占されてしまいます。
「私はこういう理由でF=maという物理法則が正しいと考えこういう方法でそれを実証しました！」という過程(論文そのもの)には著作権が発生しても、F=maという事実には著作権が発生しません。

「テキスト」系著作物の特殊性

「絵」の場合は幼稚園児がクレヨンで描いたものでも必然的に「創作性(独自性)」が発生する(他の幼稚園児どころかプロでも同じ絵を描くのは困難なため)ので「人間の成果物」=「創作性がある」ことになりますが、プログラムや論文などの「テキスト」系はそうでない訳です。「機械翻訳を使うくせに自分の絵を使われるのは嫌なんて絵師の特権意識がにじみでてるな」という揶揄がありますが、「文字情報」は実際に事情が異なる訳です。
翻訳などでも同じで、例えば「I am an AI text programmer」という文を「私はAIテキストプログラマーです」と世界で最初に翻訳したのは私かもしれませんが、そこで「この翻訳文は俺の著作物！ 他の人間が『私はAIテキストプログラマーです』と翻訳したら著作権侵害！」と私が主張したら誰もが「ふざけんな」と言うでしょうし、司法も認めないでしょう。何故ならこれは誰がやっても同じ翻訳になるもの=創作性が無いものだからです。
プログラムでも、「1から100までを合計するプログラム」などは誰が書いてもほぼ同じになるので、そこで著作権が発生してしまうと他の人が基本的なプログラムさえ書けなくなりみんなが損してしまいます。詳細な説明は以下の記事を:

プログラム以外で「ありふれた表現」として著作権が認めらない例については以下の記事を:

結局、機械翻訳だろうとChatGPTだろうと人間だろうと「誰がやっても同じになるもの(=創作性がないもの)」なら著作権的な問題は発生しません。AIと人間の学習は違いますが、出力はAIだろうと人間だろうと問題になるものは同じです。人間がパクりを納品するのは問題で、AIもパクりを出力したら問題です。

チューリング・テストには問題が色々指摘されてますが、「内部ではなく出力から判断するしかない」という発想より優れた方法はまだ発見されて無いでしょう。

問題にならない出力の具体例

「一冊の本」ならともかく、例えば「This is a pen」なら百人いても百人が「これはペンです」と同じ翻訳をするでしょう。
国語の「記述式問題」でも、「作者の主張を2行程度でまとめよ」とかなら答えは実は一通りに決まります。

ChatGPTで言えば、「図を書かせる」「文章の要約」などはある程度「答え」が収束する、つまり(一定以上の能力を持つ人間なら)誰がやってもほぼ同じ結果になります。また、「学校の試験」で無くても、学問的な話なら「模範解答」が存在するためそれも問題ないと言えます。

ただし、生成AIはオリジナルをそのまま出力してしまうことが少なくないことが一年以上前から指摘されています。

深層学習がブラックボックスである以上、どんな場合でも問題が起きないようにするには結局「学習元をそのまま出力しても問題が無い」ようにするしかない。要するに無断学習を禁止するしかない(とは言え、上記で紹介した学術書を元にしているであろうChatGPTの出力や、「文章の要約」などでは問題が起きる可能性は低いでしょう)。

なお、最初に書いたように「絵」は事情が異なり、「a girlを翻訳して」では無く「a girlを描いて」「marioを描いて」なら「誰が描いても同じ」にはならないため論外です。