【追記】案件の募集が終了したので金額を安くしました。

お久しぶりです。なかなか執筆作業に時間が取れずにいたんですが、こちらの記事がついに 20スキ を超えまして、view数は執筆時点で 8,000超 になりました。たくさんの方の役に立てたのだと思うとうれしい気持ちでいっぱいです。

さて、今回は私が副業を始めるにあたって、困ったことや知りたかったこと。案件獲得時に注意していることなどを、現在募集中の案件を実際に受けた想定で契約の注意点～成果物の作成までをすべて公開したいと思います。

有料区間では今回作成したすべてのソースコードを公開します。実際に案件が残っていて契約できればソースコードをそのまま流用することも可能かと思います。それではいってみましょう！

本記事を読むことで得られること

📊 クラウドワークスの裏側を覗く

• 実際のスクレイピング案件の全容を知り、副業の実態を把握

• 初心者でも取り組める案件の選び方と注意点を学ぶ

💡 時間とお金を節約

• 契約面で絶対に確認すべき3つのポイント

• 技術面で押さえるべき5つの重要事項

• これさえ知っていれば、案件選びで失敗しない！

🛠️ 実践的なスキルアップ

• スクレイピング作業の具体的な流れと、使用するツールを把握

• プログラミング初心者でも理解できる、作業の考え方と進め方

⏰ 副業を効率的に始める方法

• 週末3時間でできる具体的な作業プランを提示

• 副業を継続させるためのコツと、収入アップの秘訣

🔒 有料ノート限定情報

• 実際の成果物と、クライアントとの実際のやりとり

• 案件獲得につながる、提案手法の公開

この記事を読めば、クラウドワークスでのスクレイピング案件に自信を持って挑戦できます。副業初心者の方も、効率的に作業を進め、着実に収入を得る方法を学べます。さあ、新しい副業の扉を開きましょう！

🤔クラウドワークスの現状

クラウドワークス（CrowdWorks）は、フリーランスや副業を探している個人と、仕事を依頼したい企業や個人をつなぐオンラインマッチングプラットフォームです。日本国内で非常に人気があります。ほかにもランサーズやココナラといったサービスもあります。

いろいろなサービスの中でクラウドワークスを選んだ理由は「案件の規模が小さいものが多いから」です。よくランサーズと比較されますが、ランサーズはフリーランスをターゲットに長期的に仕事をしてもらうことを前提とした案件が多いです。これから初めて副業をするといった方にはお勧めできないですね。

私がかねてより副業でおススメしているスクレイピング案件はクラウドワークスのほうが募集が多いというのも、私がランサーズを選ばない理由のひとつにあります。

イメージとしては、スクレイピング案件は規模によりますが5,000～15,000円くらいの募集が多いのかなといった印象です。例えば、下記のような募集があります。

Yahooショッピングからデータ収集【簡単なお仕事】のお仕事(データ検索・データ収集) | 在宅ワーク・副業するなら【クラウドワークス】 [ID:11170924] (crowdworks.jp)

収集したデータ数分だけ報酬を支払うといった形態もめずらしくありません。

今回はこの案件を受けたという想定でどのようなことを考えて、実際にソースを作成して成果物をつくるところまでを行いたいと思います。では早速行ってみましょう！

👀必ず確認してほしいこと【契約面】

まずは契約前に確認してほしいことが3つあります。これらは募集内容に書いてある場合と書いてない場合がありますので必ず確認して下さい。

① 納期はいつまでなのか

● 要相談
納期が要相談というのは、私の経験上結構おいしいです。クライアントとしては多少時間がかかっても仕事をやってもらいたいということなので、自分の力量と直近の予定を考えて、都合のよい日程を提案するとよいかと思います。

② 成果物はどんなものなのか

● データを入力したExcel
提出形式Excelということですが、技術的な話をすればcsvに一度データを抽出してから、Excelで開いて保存すればExcel形式になります。いろいろやり方はあるのでここはさほど問題はないかと。

③ 報酬はどうなっているのか

● データ1件につき1円～ 但し手数料込
報酬についてですが、報酬形態が下記のようになってるので、5万円稼ごうと思ったら 62,500件 のデータ抽出が必要ということですね。ここらへんは、実際にどれくらいのデータが抜いてこれるのかとかになるので、何とも言えないですが、イメージとしてはこんな感じです。

私が、実際にクライアントに相談するのであれば
「1週間～2週間程度で作業は完了するのですが、データの分量によっては前後する可能性があります。どれくらいのデータ量を想定されていますか？」のような聞き方をして、おおよその予算感を見積もります。

👀必ず確認してほしいこと【技術面】

次に実際にこの案件が実現可能なのかを調べる必要があります。これは、案件を受ける前に必ずやってください。実際に受注してから実はできませんでしたっていうのは、クライアントの信頼を著しく損なう行為です。代替案の提案やその後のフォローができるのであれば問題ありませんが、初心者が始めて副業をするということを考えると、あらかじめ下調べをするのが良いです。ではそれぞれ見ていきましょう。

① スクレイピングが許可されているサイトなのか

こちらは robots.txt を確認すると一発でわかります。今回はYahoo ショッピングなのでURLは https://shopping.yahoo.co.jp/ です。このすぐ後ろに robots.txt と入力して https://shopping.yahoo.co.jp/robots.txt とすると次のようなページが見れると思います。

これは、スクレイピングしてもいいかどうかを定めているページになります。ここにデータ収集するためのページが含まれていれば、そもそもスクレイピングすることは禁止されているので、その案件はやめておいた方がいいと思います。

User-agent: *
Disallow: /cgi-bin/
Disallow: /my/
Disallow: /review/contribution/
Disallow: /person/
Disallow: /user_review/
Disallow: /wrap/
Disallow: /summarymovie/

以下続く,,,

ということで、データがおいてありそうな場所を探します。クライアントに指定の場所を聞くのが一番早いですが、今回は自力で探します。。。ということで見つけました。下記のURLに指定の情報がすべて含まれていました。

https://store.shopping.yahoo.co.jp/ストアID/info.html

例えば、こんな感じ。

あとは、先ほどのrobots.txt内にこのURLが含まれているか確認するだけです。
確認したところ今回は含まれていなかったようなので問題なくスクレイピングを行えます。ただし、高頻度でアクセスするなどサーバに負荷をかけるようなやり方はしてはいけませんので注意してください。

② データ収集する対象はリストアップされているのか

とあるので、抽出対象は指定されていますね。カテゴリもあらかじめ指定されているようなのですが、現状ではどんな形でもらえるのかわかりません。

ひとまず、店舗のIDの一覧をCSVで頂けるという設定で話を進めたいと思います。テストデータとして5件分だけ作りました。

id,会社名
itempost,GMOメイクショップ株式会社
cenfill,株式会社ケイ・タナカトレーディング
bonecom2023,ビーワンコマース
ols,OLNA SOLUTION株式会社
sweetdoor,C&X合同会社

③ データを提出する場合、提出フォーマットはどのようになっているのか

リストのフォーマットを教えていただけるようです。ただし、今回は実際にお話を聞いているわけではないのでいったん下記のようなフォーマットにしたいと思います。

会社名,住所,代表者名,電話番号,メールアドレス.運営責任者名.サイトURL

④ サーバは必要なのか

今回はデータを直接提出なのでいらないですね。これがシステムの納品となると、ソースコードの提出だけでいいのか、サーバに設置するまでなのかの確認が必要です。

⑤ UIは必要なのか

こちらもデータを提出するということですので、必要ありませんね。スクレイピングツールの納品という募集の場合、UIがないと全く動かせないからUIがどうしても欲しいというかたもいらっしゃいます。

ここらへんは、必ず確認しないとUIは工数に大きくかかわってくる部分ですので気を付けましょう。また、デスクトップアプリではなく、webアプリにしてほしいという要望がある場合もあります。この場合はサーバが必要なのかそれとも、ローカルで立ち上げるだけでいいのかも確認したほうがいいですね。

💻作業スタート

では、一通り確認して自分が作業できそうだなと思ったらクライアントと契約をしましょう。メッセージを送っても大体返信は返ってこないので、これらすべてを確認してからメッセージを送るのではなく、確認する過程でメッセージをさきに送ってしまいましょう。

いろいろ聞いたうえであなたにも案件を選ぶ権利があるのです。

では、めでたく案件が受注できたとしましょう。いよいよコーディングです。

💭考えることリスト

私が、まず初めに考えることは下記のことです。とはいえ、ここら辺は事前調査で分かっていることが多いのでさらっと行きましょう。

• 収集データはどこで手に入るのか

  • https://store.shopping.yahoo.co.jp/ストアID/info.html

  • つまり、ストアID部分を入れ替える形で実装を行う→ "https://store.shopping.yahoo.co.jp/" + store_id + "info.html" みたいな感じ

• 対象店舗はどのように探すのか

  • こちらは事前にcsvを頂いている設定なのでそちらから読み込む

• 言語はなにを使うか

  • 言語については指定があるパターンとないパターンがありますが大体Pythonを使っておけば問題ないです。ネットにも情報がたくさん落ちていますので、おすすめですよ。

✏コーディング

大事なのは1件の動作を確認すること。そのあとに複数件を処理できるようにする。とりあえず、株式会社金太郎で対象データが取得可能か確かめてみましょう。

requestsとBeautifulSoupを使ってhtmlをパースしていきます 。

# データを取り出す関数
def extract_data(soup, label):
    element = soup.find("p", string=label)
    if element:
        return element.find_next("p").text.strip()
    return None

実際に、取り出せたものがこちら。

$ python main.py
会社名: 株式会社金太郎
住所: 群馬県前橋市中内町179
代表者名: 兒島淳子
電話番号: 027-225-7575
メールアドレス: info@kintarou-jp.com
運営責任者名: ネット販売事業部　兒島 淳子

サイトURLだけが取れなかったので、ここらへんはクライアントと要相談になるかと思います。やりようとしては、Google検索のAPIなどを使って会社名で検索を掛ける→レスポンスからURLを取り出すとかでしょうか？ただ、これをやるとなると、工数がかさむので、きちんと相談したほうが良いと思います。

もともと、募集要項を見るにサイトURLは取得できるような書き方だったので、私が見つけられていないだけでどこかにあるのかもしれないです。とりあえずサイトURLは空欄にしておきますか。

あとは先ほどのテストデータをすべて読み込み、for文で同じようにスクレイピングをすればデータを取り出すことができます。連続してアクセスする場合は time.sleep を使ってリクエストの間隔をあけましょう。

Excelに出力するのは一度データを pandasのデータフレーム に変換した後、Excel出力ができるのでそちらを使いました。

df.to_excel(output_file, index=False)

最終的にはこんな感じになります。作成したファイルは下記にあります。気になる方はダウンロードして確認してみてください。

$ python main.py
======================================
会社名: GMOメイクショップ株式会社
住所: 東京都渋谷区桜丘町26-1セルリアンタワー
代表者名: 向畑憲良
電話番号: 03-6705-8607
メールアドレス: yahoo_shopping@makeshop.jp
運営責任者名: makeshop事業部　佐々木 晶俊
サイトURL:
======================================
======================================
会社名: 株式会社ケイ・タナカトレーディング
住所: 熊本県熊本市東区御領六丁目2番40号
代表者名: 岩崎清文
電話番号: 096-349-0503
メールアドレス: ycenfill@yahoo.co.jp
運営責任者名: 森上優
サイトURL:
======================================
======================================
会社名: ビーワンコマース
住所: 愛知県海部郡蟹江町錦1-20-205
代表者名: 西政彦
電話番号: 050-3706-3015
メールアドレス: bonecom@ymail.ne.jp
運営責任者名: 西 政彦
サイトURL:
======================================
======================================
会社名: OLNA SOLUTION株式会社
住所: 福岡県福岡市博多区下川端町1-3-403
代表者名: 前田健司
電話番号: 050-5050-9014
メールアドレス: ols-store@outlook.com
運営責任者名: 前田 健司
サイトURL:
======================================
======================================
会社名: C&X合同会社
住所: 東京都板橋区仲宿47-10 2F
代表者名: 陳爽
電話番号: 080-8046-5567
メールアドレス: sweetdoor-shop@outlook.com
運営責任者名: 陳 爽
サイトURL:
======================================
Scraping completed. Data saved to scraped_data.xlsx

いかがでしょうか？コーディング自体は結構すぐに終わってしまうものですが、実際に大変なのは事前準備だということが分かったかと思います。
私が実際にコーディングに費やしたのは30分程度になります。事前準備を合わせれば1時間程度でしょうか？

ただ、きちんとしたヒヤリングをしていないため、もう少し要件が複雑になるかもしれないということはあらかじめご了承ください。

以上が、案件を実際に受けてみた想定でプログラムを作成する一連の様子となっています。

🔓 プロの知識を手に入れるチャンス

ここまでお読みいただき、ありがとうございます。ここからは、本当の「プロ」になるための秘訣をお伝えします。

💎 有料ノート限定コンテンツ：たった3,980円で未来が変わる

• 📁 実際の成果物一式（あなたもすぐに真似できます！）

• 🔑 クライアントから言われた「案件獲得の決定打は○○」でした。

• 💬 クライアントとのやり取り ※1

※1 守秘義務がありますのである程度マスクしています。あらかじめご了承ください。

✨ 通常1万円のスクレイピング案件、その全てを公開します ✨

たった3,980円で、以下の価値ある情報にアクセスできます：

なぜ、3,980円なのか？

正直に申し上げますと、スクレイピング案件を1つこなしても、利益は1万円程度です。しかし、この記事を通じて得られる知識は、それをはるかに上回る価値があります。そして、その価値をお手頃な価格で提供することで、皆さんと私の間で Win-Win の関係を築きたいと考えています。

🤝 お互いにメリットのある関係

1. あなたのメリット：

   • 案件の選び方から実際のソースコードまで、全てを公開

   • 複数の案件に応用可能な実践的なスキルが身につく

   • 時間とお金の無駄を省き、効率的に副業を始められる

2. 私のメリット：

   • より多くの方に価値ある情報を提供できる

   • 少額でも、多くの方にご購入いただくことで継続的に執筆活動ができる

💡 なぜ全てを公開するのか？

「案件の選び方から実際のソースコードまで全て公開して大丈夫なの？」と思われるかもしれません。しかし、これらの情報を公開することで：

1. あなたは即座に実践できる具体的な方法を手に入れられます

2. 私は、より多くの方に価値を提供し、信頼を得ることができます

🌟 3,980円の投資価値

この3,980円は、単なる「情報料」ではありません。これは、あなたの副業キャリアへの投資です。この情報を活用すれば：

• 最初の1案件で元を取り、その後は純利益

• 複数の案件に応用でき、継続的な収入源に

• 時間の無駄や失敗のリスクを大幅に削減

私の経験と知識を共有することで、あなたの成功をサポートしたい。そんな思いを込めて、この価格設定にしました。

一緒に、副業での成功を目指しましょう。あなたの成功が、次の記事を書くモチベーションになります。さあ、この機会に副業の第一歩を踏み出しませんか？

🚀 今すぐ行動を起こそう！

たった3,980円で、あなたの副業人生が大きく変わります。今すぐ、プロの仲間入りをしましょう！