iPhoneでショートカットappを使って、safariからYouTubeをダウンロードする

24/7/14に内容を大幅に変更しました。今まで使用していた人は更新をお願いします。

こんにちは、この記事が初のpythonを習いたての大学生です。
個人的な興味で題のようなものを作成したくなり、作るにあたってpythonを使用してみました。
使う際は当然自己責任でお願いします。
その中で躓いた点について、同じようなことをしようとしている、同じようなプログラミングレベルの人の役に立てばと思います。
プログラミングのぷの字に触れたばかりの人間ですので、コードが汚いだとか、例外処理がとかはご勘弁を

動作環境について

自分の確認している環境はiphone Xs ios17.1.2 a-shell ver1.12.5です。
それ以外の環境だったりはよくわからないので悪しからず

使用手順

まず最初に作ったものの使い方から。

1.「a-Shell」のインストール、設定等

今回の方法では「a-Shell」というアプリを使用します。ので、ダウンロード

2.実行ショートカットの作成

以下のショートカットをリックから作成します
※24/7/14更新
https://www.icloud.com/shortcuts/6d1be445060441cb9050f72fc29b4cf0

その後、youtubeの共有マークから、「Yt-dlp」を押してダウンロードします。

3.使用の際のオプション

「Yt-dlp」を使うと下のように選択するようでる。

現在は画像とは少し変わっていて

• オーディオファイル(mp3)
  いっちゃん音質のいいものをmp3でダウンロード
• オーディオファイル(opus)
  いっちゃん音質のいいものをopusでダウンロード(わからなければ使わない方がいい)
• 720p,mp4(h264,mp4a)
  720pの動画を、30fps以下になるようにmp4でダウンロード
• 最高画質,音質のmp4(h264,mp4a)
  名前の通り、
• 最高画質,音質のmp4(vp9,opus)
  非推奨

サムネイル付きで、Fileアプリの、このiPhone内/a-Shellにダウンロードされます。

「a-Shell」について

iOS上でシンプルなUnixライクな端末を使える。コマンド解釈にios_systemを使用するそう。
cを使ったものに関しては外から入れても動かないようですが、ffmpegに関しては要望が多かったのか、専用にチューニングしたものが最初から入っているようです。ので、今回pythonで使うためにラッパーである「ffmpeg-python」を入れていますが、ffmpeg本体は追加でインストールする必要はないです(.wasmで入れなきゃいけないなどと書かれているのは昔の話です)。
参考:https://github.com/holzschu/a-shell/issues/8#issuecomment-923821182

pythonで実行するわけ

ここからは作るにあたって躓いた点について書き残す、メモとなります。
まず、「a-Shell」の存在を知り、Yt-dlpで直接スマホでyoutubeをダウンロードできるんじゃ？となり、いつもターミナルで実行している文を入れてみると、「--embed-thumbnail」がうまく動作せず、毎回別れたままになってしまいました。
※「--embed-thumbnail」:サムネイルをyoutubeから取ってきて動画にくっつける
また、youtubeのタイトルをそのまま動画ファイルのタイトルにすると、保存するとき「/」で勝手にホルダーを作ってしまうなどの不便さがありました。
そこで、複数行にわたっての実行を試す際、実行結果の変数への入れ方がどうにも分かりませんでした(以下は試した)。

x=$(~~)

ので、pythonの実行ファイルを作って、それをa-shellから実行するという形をとりました。

「yt_dlp_expand.py」の中身

以下の順で実行しています。

• 1.情報の整理
• 2.Yt_dlpを使ってタイトルの取得
• 3.Yt_dlpを使ってサムネのダウンロード
• 4.Yt_dlpで動画orオーディオのダウンロード
• 5.(audioのみ)サムネを正方形に
• 6.サムネと動画を合体

1.情報の整理

一つはpathを正確にしています。
よく~/Downloadsのように書きますが、これが問題になっていそうな部分があったので、

self.output_path=pathlib.Path(path).expanduser()

の部分でフルパスに直しています。ちなみに、iphoneのファイルアプリの中では各アプリのフォルダーが並んでいるように見えますが、実際には各々のアプリで違うところにあるものがエイリアスとしてまとまっています。
また、pathは

import os
os.getcwd()

で見ることができ、
/private/var/mobile/Containers/Data/Application/A2106A88-15D1-2255-4752-4C98962G3C1
のように意味不明な文字列が入り、さらにこれがアプリのアップデートごとに変わるらしい?です。
また、a-shellから他のアプリのファイルにはアクセスできないらしいです。
もう一つの情報の整理は、実行OSの決定です。iphoneの他にショートカット全体はmacでも、pythonコードはwinやlinuxでも動くようにしようと思っています。

def device_info(self):
    import platform
    os_name=platform.system()
    if not os_name in ["Darwin","Linux","Windows",]:
        raise 
    self.is_pc=True
    if os_name=="Darwin":
        device=platform.platform().split("-")[2]
        if ("iPhone" in device)|("iPad" in device):
            self.is_pc=False

2.Yt_dlpを使ってタイトルの取得

Yt_dlpを使って(参考①)タイトルの取得を取得して、入ると困る文字列を他の文字に置き換えて(参考②)います。
基本以下以降ではsubprocessを使ってYt_dlpを流しています。
※なぜか、サムネのダウンロードだけで「'」が無視されることがわかりました。
具体的には、サムネのダウンロード時にファイル名に「'」を使おうとするとこれが消えます。
9/10の更新で問題は多分解決しています

参考にしたサイト
①https://vlike-vlife.netlify.app/posts/cli_yt-dlp
②https://www.kabegiwablog.com/entry/2018/06/25/100000
③(最終的に使わなかった)https://note.com/note_fumi/n/n72b755dac88a

def getTitle(self):
    import subprocess
    script=f"yt-dlp '{self.download_url}' --skip-download --print 'title' --no-check-certificate --no-playlist"
    cp = subprocess.run(script, encoding='utf-8', stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)
    self.title=cp.stdout.replace("\n","")
    replaceList={':' : '-','[' : '「',']' : '」','/' : '／','\n': ' ',}
    for key, value in replaceList.items():
        self.title=self.title.replace(key, value)

3.Yt_dlpを使ってサムネのダウンロード

そのままですね
注意 : どうやらmp3にffmpegでサムネをつける際にはwebpではいけないようです。
mp4にはwebpのままで大丈夫なので、何で何だろう、、、
参考にしたサイト
https://lightrun.com/answers/ytdl-org-youtube-dl-how-can-i-download-thumbnails-in-pngjpg-format-

def download_thumbnail_jpg(self):
    import subprocess
    self.thumbnail_title=self.title.replace("'","")# 9/6 変更
    self.thumbnail_path=f'{self.output_path}/{self.thumbnail_title}.jpg'
    script=f"yt-dlp '{self.download_url}' --no-check-certificate  --no-playlist --skip-download "\
    f"--write-thumbnail --convert-thumbnails jpg --output '{self.output_path}/{self.thumbnail_title}'"# 9/6 変更
    subprocess.run(script, stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)
    print(f"download_thumbnail_jpg Done")

4.Yt_dlpで動画orオーディオのダウンロード

1.と同じサイトを参考にダウンロード用のものを作ってます。
下のサイトでダウンロードしたものの拡張子を表示するための「.extract_info」を見つけました。

def crop_thumbnail_square(self):
    import ffmpeg
    probe = ffmpeg.probe(self.thumbnail_path)
    width=min(probe["streams"][0]['width'],probe["streams"][0]['height'])
    ffmpeg.input(self.thumbnail_path).filter('crop',width,width).output(self.thumbnail_path).run(overwrite_output=True)

5.(audioのみ)サムネを正方形に

なんかオーディオファイルのサムネって正方形だよね、
名前の通り。「overwrite_output=True」は上書きokかどうか
「**{'qscale:a': 1}」は音の品質みたいな、、、
ちなみに、pillowを使うのが一般的だと思うのですけど、a-shellでは使えません(多分)。

def crop_thumbnail_square(self):
    import ffmpeg
    probe = ffmpeg.probe(self.thumbnail_path)
    width=min(probe["streams"][0]['width'],probe["streams"][0]['height'])
    ffmpeg.input(self.thumbnail_path).filter('crop',width,width).output(self.thumbnail_path).run(overwrite_output=True)

参考にしたサイト
https://github.com/kkroening/ffmpeg-python

6.サムネと動画を合体

名前の通り。ここが一番難しい。ちなみに、yt-dlpの--embed-thumbnailが使えればyt-dlpのみで完結可能
以下、mp3,opus,mp4で結合の仕方がかわる。

• mp3
  mp3ではmutagenを使用しました。

def marge_file_thumbnail_mp3(self):
    from mutagen.id3 import ID3
    tags = ID3(self.file_path)
    with open(self.thumbnail_path, "rb") as img_file:
        cover_img_byte_str = img_file.read()
        tags.mime="image/jpeg"
        tags.type=3
        tags.data=cover_img_byte_str
    tags.save()

参考:https://qiita.com/moshi/items/0fd2cd8c394ffa927239

• opus
  opusでもmutagenを使用しましたが、やり方はyt-dlpの中覗いてそれっぽい部分を持ってきただけです。

def marge_file_thumbnail_opus(self):
    from mutagen.oggopus import OggOpus
    import base64
    from mutagen.flac import Picture
    pic = Picture()
    f=OggOpus(self.file_path)
    pic.mime = f'image/jpeg'
    with open(self.thumbnail_path, 'rb') as thumbfile:
        pic.data = thumbfile.read()
    pic.type = 3  # front cover
    f['METADATA_BLOCK_PICTURE'] = base64.b64encode(pic.write()).decode('ascii')
    f.save()

参考:https://github.com/yt-dlp/yt-dlp/blob/master/yt_dlp/postprocessor/embedthumbnail.py

• mp4
  なぜか、inputとoutputは違う名前じゃないといけない。
  「overwrite_output=True」は上書きokかどうかなのだが、上のような状態なので、意味があるのか、、、

def marge_file_thumbnail_mp4(self):
    import ffmpeg
    video = ffmpeg.input(self.file_path)
    cover = ffmpeg.input(self.thumbnail_path)# 9/6 変更
    (
        ffmpeg
        .output(video, cover,f'{self.output_path}/{self.title}.mp4', c='copy', **{'c:v:1': 'mjpeg'}, **{'disposition:v:1': 'attached_pic'})
        .global_args('-map', '0')
        .global_args('-map', '1')
        .global_args('-loglevel', 'error')
        .run(overwrite_output=True)
    )

参考:https://stackoverflow.com/questions/62267923/ffmpeg-python-library-to-add-a-custom-thumbnail-to-a-mp4-file-using-ffmpeg

全体を通して使い終わったファイルの削除もやっているが、まあ特に説明はいいかなと

ショートカットにて

まず、初回に上記pythonファイルの作成
そのあと、20日以上経ったら以下のように使うモジュールをアップデートがないか確認

pip install --upgrade pip
pip install -U "yt-dlp[default]"
pip install -U mutagen
pip install -U ffmpeg-python

あとは選択肢として
オーディオファイル(mp3),オーディオファイル(opus),720p,mp4(h264,mp4a),最高画質,音質のmp4(h264,mp4a),最高画質,音質のmp4(vp9,opus)を用意して、DownloadModeに数字を入れる。
などして、a-shellで実行してます。

youtubeに対策されたのか、動かなくなることがある件について

この前、HTTP Error 403: Forbiddenとか言って、動かなくなることがありました。
多分ですがyoutubeが拒否していたのかなと思います。
既にyt-dlpが対応しているので、アップデートしたら動くようになります。
「a-Shell」アプリを開いて

pip install -U yt-dlp

を実行し、念の為「a-Shell」アプリを再起動。そのあとは普通に使えるようになるかと思います。
それで同じようにダメな場合、全く別の原因か、まだyt-dlpが対応できていないかだと思うので、しばらく待ちましょう。
https://github.com/yt-dlp/yt-dlp/issues/7984