「映像」について

OBS Studioの「設定」の中にある「映像」では、「基本(キャンバス)解像度」「出力(スケーリング)解像度」「縮小フィルタ」「FPS」の4項目が設定できます。
「基本(キャンバス)解像度」に取り込んだ映像を「縮小フィルタ」にて選んだアルゴリズムで「出力(スケーリング)解像度」の解像度まで縮小(リサイズ)して出力されます。「FPS」は出力される映像のフレームレートです。
「縮小フィルタ」はプルダウンメニューになっており、その中の「バイリニア (スケーリングする場合ぼやけているが最速)」「バイキュービック (先鋭化スケーリング、16 のサンプル)」「ランチョス (先鋭化スケーリング、32 のサンプル)」の3種類のアルゴリズムから任意のものを選択します。
「基本(キャンバス)解像度」と「出力(スケーリング)解像度」が同じ場合は、リサイズしないので「縮小フィルタ」で何を選んでいても効果は無いと思われます。
「FPS」の項目はプルダウンメニューになっており、「FPS 共通値」「FPS 整数値」「FPS 文数値」の3種類の中から任意のものを選び、「FPS 共通値」は以外はテキストボックス内に数値を入力してフレームレートを決定する形になっています。

自分の「映像」の設定はこのようになっています

・基本(キャンバス)解像度

768x432

・出力(スケーリング)解像度

768x432

・縮小フィルタ

バイキュービック (先鋭化スケーリング、16 のサンプル)

・「FPS共通値」

30

解像度を大きくすれば細かい部分も大きく表示されて見やすくなりますが、必要なビットレートとPCへの負荷は増えてしまいます。

kukuluLIVEは「16:9」のアスペクト比で配信する場合、ブラウザの種類やモニタの種類にもよると思いますが、デフォルトで「768*432px」で表示されるようです(配信画面右下の「拡大縮小」で変更しない場合)。
以前「1024*576px (16:9)」の解像度で自分が配信した際、配信中の映像とタイムシフトの録画映像は、自分のブラウザ上(Internet Explorer 11とVivaldi windows 32bitで確認)では「768*432px」で表示されていました。

つまりkukuluLIVEの配信画面上では「どんなに解像度を大きく設定して配信しても、ブラウザ上では縮小して表示される。ただしどれくらい縮小されるかは解像度やアスペクト比、ブラウザやモニタなどによって異なる。」という仕様だと考えられます。(誰か色んな解像度とかアスペクト比とかモニタとかブラウザでテストしてまとめてくれないかなｗ)
ブラウザ上に限らずリサイズが起こると少なからず映像にボケが発生するので、kukuluLIVE側でリサイズされてしまわないように、自分の配信ではブラウザ上で表示される768*432pxに合わせる形にしています。

そしてこの768*432pxという解像度は「縦・横のピクセル数」が「16の倍数」になっているので、H.264で配信するには都合の良い解像度と思われます。エンコーダがx264にしろNVENCにしろコーデックはH.264なので「マクロブロックが16*16pxで分割されるのが基本」だからです。
正直なところ16の倍数に強くこだわる必要はないと思いますが、16の倍数であれば「フレーム間予測」において効率良く処理と圧縮が出来るのではないかと考えています。
16の倍数でなくとも8や4の倍数のピクセル数の解像度であったほうが良いと思われます。

ちなみに自分は大体どのゲームも「ウィンドウモード」の「1536*864px」の解像度で遊んでいます。
この「1536*864px」の解像度も16の倍数の解像度で、半分にすると丁度「768*432px」の解像度になります。(丁度半分だとリサイズしたときにボケが少なく、すっきりした綺麗な映像になるような気がします。)

自分が配信を始めたばかりの頃にしていたミスなんですが、「基本解像度が1920*1080px」で「ゲーム解像度が1600*900px」、「出力解像度が1096*616px」というわけのわからない設定で配信していたこともありました・・・。
つまり、「1600*900pxのゲーム画面を1920*1080pxに合わせて取り込む(拡大されて映像がボケる)」→「そのボケた映像を1096*616pxに縮小する(ここでも少し映像がボケる)」→「なんかボヤボヤしてて画質悪い(頭も悪い)」・・・という流れです。
下の画像を交互に見比べると、一度拡大してしまったリサイズがボヤけているのが分かるかと思います。

当然のことなんですが「ゲーム画面の解像度より基本(キャンパス)解像度を大きくしてはいけない」ということです。
大きくしても良いですがその場合はゲーム画面を拡大せずに取り込みましょう。もちろんその場合「ゲーム映像の周りに黒枠が出てしまう」ことになります。

縮小アルゴリズムによっても実はビットレートとPCへの負荷は微妙ながら変わってきます。シャープなくっきりした映像より、ぼんやりと丸い映像(悪く言うとボヤけた映像)の方が必要なビットレートが少ないからです。PCへの負荷は、複雑な計算をする縮小アルゴリズムほど増します。
ただしこれには見た目の好みもあるので「これが正解」というのはありません。完全に好みで決めていいかと思います。
下の画像は1536*864pxのゲームのキャプチャ画像を取り込み、縮小フィルタのそれぞれのアルゴリズムを使って768*432pxに縮小したものです。

ぱっと見ではほとんど違いが分からないレベルかと思いますが、よーく見ると細かい部分やボカし具合で違いがあるのが分かります。
違いが分かりやすくなるように、下の画像ではマカロフさんの顔をそれぞれ切り出し、MSペイントで500%に拡大してみました。あまり分かりやすくなりませんでしたｗ

先にも書いた通り、自分はこの「映像」の設定内で「縮小フィルタ」によるリサイズは行っていないので、縮小アルゴリズムにバイキュービックを選んでいますが影響していないと思われます。
しかし、1536*864pxの大きさのままゲーム画面をキャプチャすると、768*432pxの「基本(キャンバス)解像度」からはみ出てしまいます。
その解決方法については次のページで書きますが、自分の場合はソースの「ゲームキャプチャ」や「ウィンドウキャプチャ」などのキャプチャ類にフィルタを掛けてリサイズを行っています。

フレームレートを増やすと映像は滑らかになるのですが、やはり必要なビットレートとPCへの負荷も増えてしまいます。
自分の配信では滅多にフレームレートを変更しませんが、30fpsを基準として「下げるならば24fps」「上げても48fps」としています。
自分が24fpsに変更するのは「配信しているとPCが重すぎ、他の色々な設定を弄ってもダメだった時の苦肉の策」としての時くらいです。

ちなみに24fps(23.976fps)は映画やアニメ、30fps(29.970fps)はテレビ放送でおなじみのフレームレートです。
しかし、「映画が24fpsなら配信も24fpsで大丈夫だろう」と考えてフレームレートを下げると、カクカクした映像のチラつきに気付くと思います。
「同じ24fps」なら「映画の撮影で使われるカメラで撮られた映像」と「キャプチャされたゲーム映像」の比較では「映画の映像のほうが滑らかに見える」ことが多いです。

本題からずれてくるのであまり詳しくは書きませんが、カメラで撮影された映像には「被写体ブレ(モーションブラー)」が起こります。
それがどういうものかは、顔の前で手を素早く振ってもらえば分かると思いますが「振っている手の輪郭や表面が、くっきりはっきり見えずにブレたりボヤけて見える」はずです。こういう動いているものを見た時や、視界が動いたときに起こる被写体のブレやぼかし(ブラー)がモーションブラーです。これはカメラでも起こります。映像の場合、このブレの存在によって「連続的なつながりのある動きである」と認識しやすくなります。

最近のゲームにはモーションブラーを描画エフェクトとして使えるものもありますが、多くのゲームにはありません。なのでゲームのキャプチャ映像は「実際ならカメラや被写体が動いて生じるはずのブレの無い」「静止したコマの連続映像」のため、低フレームレートのゲーム配信だと、動きの速いシーンであるほどカクカクしたぎこちない映像に見えてしまいます。
下の動画は24fpsのゲーム映像に、後から動画編集ソフトでモーションブラーのエフェクトを掛けた映像と、掛けていないそのままの映像の比較用です。(この動画を再生するには、videoタグに対応したブラウザが必要です。)

今の一般的な液晶モニタのリフレッシュレートは60Hzのものが多いですが、それを意識してか60fpsにこだわる人もたまに見かけます。
ですが60fpsだと必要なビットレートが結構増える上に、正直48fpsと60fpsの見分けがすぐに付く視聴者は少ないように思います(良く見比べてやっと気づく程度かと思います)。
なので自分は上げたとしても24fpsの倍の48fpsまでです。
下の動画は48fpsと60fpsの映像の比較用です。(この動画を再生するには、videoタグに対応したブラウザが必要です。)