バイナリとは？

文字以外のデータのことで、「コンピュータに解釈させるためのデータ」のことです。
（厳密に言うと、「2 進数の」という意味です）

この「バイナリ」で構成されたファイルのことを「バイナリファイル」と言います。
テキストファイルが「文字データだけの集まり」で形成されているのに対し、バイナリファイルは「文字データ以外のものの集まり」で形成されています。

「文字データ以外のものの集まり？？？」

ということになるので、もう少し解説を加えると...
「人間が解釈できるように、文字で作成されたものがテキストファイル」、
それを「コンピュータが解釈できるように数値化したものがバイナリファイル」
とでも考えて下さい。
簡単に言えば、バイナリファイルとは、画像、映像、音声データ、実行ファイルなどのことを指しています。
（画像ファイルや実行ファイルをテキストエディタにドラッグ＆ドロップしても、人間が解釈できる文字では表示されませんよね？）

ソフト配布サイトで、「バイナリファイルはこちらです」などと書かれていた場合、その「バイナリファイル」が実行ファイル（ソフト本体）にあたります。