他人の論文や, ソースコードを見ているといろいろと思うことがあるので, 私が正しいと思っている書き方を以下に記す.
あくまで自己流なので, 他の方のご意見 (コメント)も参照すると良いかと思います.

正しい論文の書き方

• ,(半角カンマ)や.(半角ピリオド)の後は必ず半角スペースをいれる
  • 日本語論文では, "半角カンマ+半角スペース"の代わりに"全角カンマ"を推奨しているところもある (ピリオドも同様に)
• 逆に,や.の前に不自然なスペースをいれない
• ソースコードは見やすいように, インデントと改行を心がける
  • 2回以上改行すると段落が変わるため注意
• 特別な理由がない限り, ハイパーリンクをつける: こちら
• 略称は定義して使うこと: (例) Support Vector Machine (SVM)
• 三点リーダー (・・・)の使い分け
  • \ldots: カンマに使う. $i=1,2,\dots ,n$
  • \cdots: 演算に使う. $1+2+\cdots +n$
• 数式モードを正しく使い分けること
  • $ $: 文中の数式モード
  • \[ \]: 数式モード (式番号不要なとき)
  • equation: 数式モード (式番号が必要なとき)
  • align: 式変形などで数式を並べる場合 (eqnarrayは使わない)
  • multline: 式が長くて折り曲がるとき
  • gather: 式をまとめて並べたいとき (すべて中央寄せになる)
• 数式中のテキストは斜体を解除する: (正) $[{\lambda }_{\mathrm{b}\mathrm{e}\mathrm{g}\mathrm{i}\mathrm{n}},{\lambda }_{\mathrm{e}\mathrm{n}\mathrm{d}}]$. (誤) $[{\lambda }_{begin},{\lambda }_{end}]$
  • \mathrmや\textを使って斜体を解除できる (\textは本文と同じ字体になる)
  • 斜体を解除しないと変数の積とみなされる
  • 演算記号用の\operatornameというコマンドもある (要amsmathパッケージ)
• 数式中で既に予約されている文字を使う: \max, \min, \log, \exp, \arg
  • (正) $max\{x,0\}$
  • (誤) $max\{x,0\}$
• 転置の記号は\topがキレイ: ${\mathit{a}}^{\mathrm{\top }}\mathit{b}$
• 場合分けは\begin{cases}\end{cases}を使う (arrayを使わないこと)
• 定義の記号:=は\usepackage{mathtools}で定義されている\coloneqqを使う
  • 
  • =:は\eqqcolon
• 図や表は論文の上 or 下にする: \begin{figure}[tbp]がよい
• 図や表のキャプションは詳しく書く
• 式番号や図番号, 文献は必ず参照する (直接書かない)
  • (例) \label{eq:kkt}で式にラベル付けし, \eqref{eq:kkt}で参照する
  • (例) \label{fig:time}で図にラベル付けし, \ref{fig:time}で参照する
  • (例) bibtexを使い, 文献を\cite{boyd2004convex}で参照する
• 表のキャプションは上, 図のキャプションは下
• 集合の縦棒は\midを使う (|を使わない)
  • (正) $\{i\mid i=1,\dots ,n\}$
  • (誤) $\{i|i=1,\dots ,n\}$
• 特別な理由がない限り, 図はVector型 (pdf, eps)にする: こちら
• 原則, 強制改行\\はしないこと
  • 文章が途中で折れ曲がるのは不自然
• 段落が変わるときは, ソースコードで2回以上改行 (Enter)する
  • \parコマンドもあるが, ソースコードの可視性から2回Enterがよい
• figure環境でcenter環境を使わないこと
  • \centeringを使うのが正しい
  • \begin{center}を使ってしまうと無駄に余白があく
• ベクトルと行列はボールドにする: $\mathit{x},\mathit{X}$
  • 行列をボールドにするのは意見がわかれるが, 大文字の定数と区別するため
  • ベクトルであることが明らかな場合はボールドにしない場合もある
• 文献の引用はbibtexを使うこと
  • .bibファイルを用意して, pbibtex (日本語) or bibtex (英語)でコンパイルする
  • .bibの作成には, Google Scholarを使うとよい
  • こちらとこちらが参考になる
• 引用していない文献は載せない (bibtexで自動的に実現される)
• 括弧のサイズを調整する
  • \left( \right): 囲まれた範囲内に合わせられる (無駄に大きくなることがあるため, 以下を使うことも多い)
  • \bigl( \bigr): 少し大きい括弧
  • \Bigl( \Bigr): 大きい括弧
  • \biggl( \biggr): 更に大きい括弧
  • \Biggl( \Biggr): もっと大きい括弧
• 図の可視性
  • 文字は大きく見やすく
  • なるべくモノクロ印刷時にもプロットの線を識別できるようにしておく (破線, 点線など)
• 半角括弧の前にはスペースを入れる:
  • (正) Mean Square Error (RMSE)
  • (誤) Mean Square Error(RMSE)
• ノルムを|二本で書かないこと
  • ノルムは\|を使うこと
  • (正) $\Vert$
  • (誤) $||$
• \barや\tilde, \bmの範囲に気をつけること
  • 添字ごと囲まないようにする
  • (正) ${\mathit{x}}_i$
  • (誤) ${\mathit{x}}_{\mathit{i}}$
• まとまりとして意味のある数式が複数行にまたがる場合, 数式モード内でsplitを使うとよい
  • (例) $$\begin{array}{}\text{(primal)}& \begin{array}{rl}\underset{x}{min}& f(x)\\ \mathrm{s}.\mathrm{t}.& x\ge 0\end{array}\end{array}$$
• 図を貼るときは, width=\linewidthやwidth=0.8\linewidthのように, 相対的に書く
  • \textwidthや\paperwidthは, 余白を考慮していないため使用しない
  • \linewidthは, そこに書くことができる長さを表している
• 同じfigure環境内で複数の図を貼るときは, \subfloatで並べる
  • (例) \subfloat[キャプション]{\includegraphics[width=0.4\linewidth]{ファイル.pdf} \label{fig:ラベル名}}
  • \usepackage{subfig}が必要
  • 各図のキャプションに加えて, 全体のキャプションも忘れないようにする
• 囲み記号 " " は `` '' を使うこと
  • (正) $‘‘\text{ ''}$
  • (誤) $\text{" "}$
• 尖った括弧$⟨⟩$は\langle \rangleを使う
  • $<>$不等号を使わない
• $\ll$は\ll, $\gg$は\ggで書く (不等号2つで書かないこと)
  • (正) $\ll$
  • (誤) $<<$
• 表の線を引きすぎないようにする
  • 
• 空集合は\emptysetを使う (\phiを使わない)
  • (正) $\mathrm{\varnothing }$
  • (誤) $\varphi$
• 書いた文章は必ず読み返すこと
  • 当たり前なのにできてない人が多い
  • 文章を長くしすぎない

知っていてほしいこと

• \西暦コマンドを書いておくと, \todayが西暦になる (日本語モードの場合)
• 数式モードは*をつけると式番号がなくなる: align*, gather*など
• 一部の数式番号を消したいときは\nonumber
• スペースの種類 (抜粋)
  • (スペース): 連続使用しても1回分のスペース
  • ~: 改行されないスペース (使用例\figurename~\ref{fig:time})
  • \(スペース): スペース
  • \;, \:, \,: それぞれサイズの違う小さいスペース
  • \quad, \qquad: 大きめのスペース
  • \!: 負のスペース (式がギリギリ収まらないときに=の前後で使うことがある)
• \leqは\le, \geqは\geでよい
• 2カラム論文で, カラムをぶち抜いて図や表を貼るときは, figure*やtable*を使う
• ナンバー$\mathrm{\#}$ (\#)とシャープ$\mathrm{♯}$ (\sharp)は異なる
  • 個数を表す記号はナンバー$\mathrm{\#}$の方
• 英語論文のタイトルの表記について (よくあるルール)
  1. 基本的にすべての単語の1文字目は大文字にする
  2. ただし, 以下の単語は文頭でなければ上記の例外とする
     • 接続詞 (例: and, or, but)
     • 前置詞 (例: on, of, by, from, with, without, under)
     • 冠詞 (the, a, an)
• \ellで$\ell$を出力できる
  • $l$とは違う
• \varepsilonで$\epsilon$を出力できる (\epsilon$ϵ$とは異なる)
• \subrefで図1aなどの(a)だけを出力できる
• \underbraceで余白が空きすぎるときは, \mathclap{}を併用するとよい (mathtools必要)
  • 余白が空きすぎる例:
    • a+\underbrace{b}_{\text{長ーーーーーーーい説明}}+c
    • 
  • mathclap使用:
    • a+\underbrace{b}_{\mathclap{\text{長ーーーーーーーい説明}}}+c
    • 
• 文字の高さや横幅の単位 (使用例: \includegraphics[height=1zh]{fig.eps})
  • em: 書体の文字Mの横幅
  • ex: 書体の文字xの高さ
  • zw: 全角漢字の横幅
  • zh: 全角漢字の高さ
• ひらがなの方が好まれる表記がある (日本語の場合) ※コメントでご指摘いただいた箇所を追加しました
  • 「出来る」(補助動詞) →「～できる」
  • 「時」(場合, 条件) →「とき」
  • 「事」(用言の名詞化) →「こと」
  • 「及び」(接続詞) →「および」
  • 「尚」 →「なお」
  • 「沢山」→「たくさん」
  • 「従って」(接続詞) →「したがって」
  • 「例えば」→「たとえば」(このあたりは好みかも)
  • ...

おまけ

発表スライド作成で気をつけてほしいこと:

• 明朝体を使用しない (横線が見にくいため)
  • 日本語はゴシック, 英語はサンセリフが基本
• 文字ばかりにしない
  • なるべく図を用意する
• 文を書く時は1行に収まるようにする
• どうしても文が長く場合は, 色付けして, そこだけ見ればなんとなく伝わるようにしておく

他にも思いついたら随時更新していきます.