絶対に失敗しないDify（a.k.a Dify 201）、始めます
こんにちは、Choimirai Companyのサンミンです。
0 はじめに
2024年4月1日からスタートしたDify 101。ありがたいことに、2024年6月18日まで67名の方が参加されています。
Difyの使い方を本気で上達させたい方にはDify 101（👉https://t.co/652gH1J7TX）をお勧めしたい✨。Difyは進化し続けてるシステムなので今できることよりもこらから何ができるかを見据えた学び方が大事。Difyの基礎から始め、RAGの実装やHTTPSの構築まで体験できます。海外からの参加も大歓迎です🌐。 https://t.co/PGNTuiCiCs pic.twitter.com/XPDwMD0goZ
— sangmin.eth | Dify Ambassador (@gijigae) May 20, 2024
Dify 101に続け、2024年6月19日からは「絶対に失敗しないDify（a.k.a Dify 201）」をスタートします🚀。
今回のnoteではDify 201を企画した理由とプログラムの特徴について紹介します。
1 Dify 201を始めた理由
Dify 101の個別面談を進めていく中で感じたのが、参加者のPC環境によってDifyから得られる成果に大きな差が生じていることです。
最新版にアップデートすることだけを見ても、スムーズにできる方もいれば、ネットワークの問題で、Dockerのコンテナをダウンロードする時に接続が途切れ、何度も作業を繰り返す時もある。
Dify 0.6.11からは最新版にアップデートする前に、「volumes」ディレクトリのバックアップが勧められています。
— sangmin.eth | Dify Ambassador (@gijigae) June 16, 2024
🔹tar -cvf ./backup/volumes-$(date +%s).tgz ./dify/docker/volumes
「絶対に失敗しないDify」の図も更新しましたので合わせて参考にしてください↓。 https://t.co/fl3ETTdcol pic.twitter.com/XZBOnTCGJt
Difyのような複合AIシステムは、初対面での第一印象がその後の付き合いを左右する場合が多い。第一印象がよければ、Difyを使う習慣もより身につけやすいです。
全くもってゼロからの初心者にDifyを指導すると本当に大変なのはDifyの使い方を習得してもらうことではなく実は、「その後も使い続ける習慣を身につけてもらうこと」です。「なぜ（Why）」Difyを使いたいのか？がはっきりしている方は続けられてる印象✨。一方で、「なんとなく」始めると続かない。 https://t.co/ooWgBHliVw pic.twitter.com/960XYRXok1
— sangmin.eth | Dify Ambassador (@gijigae) June 18, 2024
こうした課題を解決したく始めたのが、Dify 201です。
2 Dify 201の特徴①：すぐ使える
Disy 201の特徴は、なんといっても初回のミーティングからDifyが使えることです。最新のDifyがインストールされているVM（仮想マシン）はもちろん、SSL証明書発行済みのドメインをHTTPS経由でアクセスできます。
▲ HTTPS経由でアクセスするDifyの一例
また、HTTPS経由でDifyへログインしますとOpenAI（上限月20ドル）とCohere（Rerank用）のAPIが登録済みとなっていますので別途アカウントを作る必要もなく、最新モデルを使って、チャットボットやRAGが実装できます。
あと、Dify 201で構築したDifyのVMではETLのオプションとしてUnstructuredIOを採用しています。この設定によって、パワーポイントなどデフォルトのDifyより多様なファイル種別でRAGが実装できます。
. @UnstructuredIO もローカルで実装するためのDockerイメージがあるのでdocker-compose.yamlで設定すれば、ETLのオプションとして選択できます。UnstructuredはETLの精度もさることながら、処理できるファイル形式も多いのでDifyを検討されている方には超オススメです👏。 pic.twitter.com/HqZt73jkcx
— sangmin.eth | Dify Ambassador (@gijigae) March 18, 2024
UnstructuredIOによるテキストの前処理、OpenAIのEmbeddingsでベクトルDBへ保存、そしてCohereのRerankでチャンク抽出の最適化。この３つの組み合わせでぜひ最高のRAGを体験してみてください。
3 Dify 201の特徴②：チームメンバーも招待可
Dify 201で導入しているVMは2vCPUに8GBのメモリを積んであります。このスペックですと、10名まで同時に利用しても問題ないキャパ！VMにはチームメンバーを招待できるメール機能も実装済みですので、お持ちのメールアドレスを登録するだけで簡単に他のユーザーを招待できます。
Difyの @resend でメールが送信できない時は３つのチェックが必要📬。
— sangmin.eth | Dify Ambassador (@gijigae) June 7, 2024
① docker-compose.yamlのworkerコンテナに必要な情報があるか
② resendのAPIキーでメールが送れるか（左の図）
③ workerコンテナのエラーログ（右の図）
①と②で問題がなければ、③で何らかのエラーが出ているはず↓。 https://t.co/AL25mvpqh4 pic.twitter.com/BCZuOOqMI7
4 Dify 201の特徴③：サーバーの引越し
Dify 201では5回の個別面談を通じて、Difyの基礎から始め、APIを利用したサービス開発まで体験できるプログラムです。
DifyのAPIを呼び出す方法として @vercel を利用されている方も多いけど @streamlit や @Gradio もぜひ活用してほしい。図はGradioのアプリから、Deepgramを用いたワークフローのAPIを実装した時の様子↓。ユーザー認証のプロセスも簡単に作れるので超オススメです😇。 #Dify部 https://t.co/8Uf9liITYz pic.twitter.com/KCxuXBZNhY
— sangmin.eth | Dify Ambassador (@gijigae) June 14, 2024
最後の面談ではDifyをAzureのVMから別のサーバーへ引っ越しさせることも体験できます。データを移行する手順を覚えれば、より自由にクラウドサービスが選択できるはずです。
5 Dify 201の特徴④：専用のFirecrawlサーバー
Dify v.0.6.11で一番注目を集めている機能の一つがFirecrawlとの連携です。該当サイトのURLを渡すだけで、該当サイトのクローリング＋スクレイピング＋ベクトルDBへの保存までが一瞬でできる。
Dify v.0.6.11のリリースです🎉！一番注目したいのはいよいよナレッジにSync from websiteが追加されたこと👏。 @firecrawl_dev と連携すれば、
— sangmin.eth | Dify Ambassador (@gijigae) June 15, 2024
①URLを指定
②該当サイトをクローリング＋スクレイピング
③ナレッジに保存
といった流れが一瞬で作れる。あとから個別URLを指定できるのも便利✨。 pic.twitter.com/gfpg8oe6v3
Firecrawlは素晴らしいサービスだけど500ページ以上スクレイピングするためには有料プランが必要。19ドルだと3000ページまで、そして99ドルだと10万ページまでスクレイピングできる。
幸い、FirecrawlにはSaaS版に加え、OSS版のサービスもある。Dify 201へ参加されますと専用のFirecrawlサーバーを立ち上げ、利用することもで可能です。
Firecrawlは @mendableai のチームが今年の4月に立ち上げたばかりのOSSプロジェクト。OSS版はDifyと同様、Dockerのコンテナを用意してあるので、割と簡単に実装できる↓。AIの進化とともに、Firecrawlのクオリティはますます向上していくはず。OSS版の使い方も覚えておくといい✨。 https://t.co/Tl1WfplOfa pic.twitter.com/x4N4yDvULT
— sangmin.eth | Dify Ambassador (@gijigae) June 16, 2024
6 Dify 201に含まれる内容
① 5回の個別面談
② Difyサーバー（2vCPU, 8GB RAM, 128GB HDD）：2ヶ月で26770円相当
③ Firecrawlサーバー（スペックはDify同様）：2ヶ月で26770円相当
④ OpenAIとCohereのAPI：２つ合わせ、上限月20ドル：2ヶ月で6000円相当
②、③、④を合計しますと、2ヶ月で59540円相当のサービスがご利用できることです。
2ヶ月で59,540円相当のサービスがご利用できる
7 Dify 101へ参加された方々からの声
@gijigae さんとの月一回のミーティング。困っていた ①APIのエラー②JinaReaderがうまくいかないPDFのpageがあることに対してすぐに解決していただきました。また、③最新のAI、Difyのアップデート情報についても教えて頂きました。人に直接お話を伺うのはとても大事だと実感。
— Hide｜AIxDifyで研究の効率化を目指す (@hi_HiLAB) June 7, 2024
私のよくわからない質問にもスパスパ答えて頂けるのが、びっくりしてます。理解力が半端ないし、解決する引き出しが多い。
— 新盛淳司/鍼灸師・スポーツトレーナー（メディカル） (@irifuneshinmori) June 6, 2024
前進すると嬉しいんだよな(^^;;
有意義な30分個別面談！#dify部 https://t.co/R5VIK6d0Y7
【最新のAIを自分に落とし込める】https://t.co/NPW7ngJ0MX
— ダイチ (@LxGtUGtlRSh8yXW) June 9, 2024
受講してよかった点は、
・新しいことを知って触れる！
・躓いた箇所をクリアできる。
◾️新しいことを知って触れる！… https://t.co/sVWWymo4vY
8 まとめ
Difyはまだ始まったばかりで、これから追加される機能によってLLMOpsなどより洗練されたサービスが実現できるようになります。
DifyはAIツール開発に加え、LLMOpsの業務支援としての役割も担ってる。そして、モデルを継続的に改善する需要はAIの本格導入が始まる今年の後半から急速に高まるはず🤖。その需要に応えるため、DifyにもFine-tuningなどLLMOps機能が強化されるとみてる。1年後にも話題となる未来を自分は作ってる✨。 https://t.co/oXPTkKlT5h pic.twitter.com/Ql5ka8QJPg
— sangmin.eth | Dify Ambassador (@gijigae) June 8, 2024
Difyの使い方を本気で学び、収益化まで繋げたい全ての方にお勧めしたいのが「絶対に失敗しないDify（a.k.a Dify 201）」です。
この記事が気に入ったらサポートをしてみませんか？
コメント