そそ、これ、ちょっと気にはなってたんだよね
蒸留学習って巨大なAIを
例えばスマホで使えるようにいいところだけをピックアップして精度はそのままで縮小する技術なんよ
どうもファインチューニング的に使っていそうだなと思ってはいたんだが、やはり理解しとらんかったんやな
Quote
かきつば翔馬
@Kakitsubaki
【悲報】X界隈では凄いと定評のあるITエンジニア藤原かみら(元暇空支持者)、深夜にAIエンジニアとレスバするも知識が足りない模様
LLMの蒸留がサァ！
強いて言えばファインチューニングでは？
…蒸留かつファインチューニングですね
元のLLMにマニフェストがないと蒸留しても意味ないですよ
LLMの蒸留がサァ！
強いて言えばファインチューニングでは？
…蒸留かつファインチューニングですね
元のLLMにマニフェストがないと蒸留しても意味ないですよ
