@Gorotano 2. 検証DBへのアクセスログの記録をどこまで取っていたかは、私は存じ上げません。申し訳ございません。これに関してはフェイト氏であれば知っているかと存じます
-
@biikame@kunimi_komichi@Watch_Kensho@Gorotano 横から失礼します。ものすごくぶっちゃけたこと聞きますが、検証部の人間に果たしてこれを運用できるスキルやサーバ側の設計能力があるかすごく疑問なのですが、その辺りどのように感じます？
@immoral__prince @kunimi_komichi @Watch_Kensho @Gorotano (続き)全体としては、一旦受信データをテキストとしてAzure Blob Storageに記録し、Date Lake Analyticsを用いて解析をかける予定でした
-
-
@biikame@kunimi_komichi@Watch_Kensho@Gorotano jsonをBlob StorageでなくMongo DB辺りのKey-Value形式で格納できるDBに格納する方が後々楽なような気がするのですが、そうしなかった理由は分かります？ -
@immoral__prince@kunimi_komichi@Watch_Kensho@Gorotano JSONデータそれ自体を保存し、のちの検証の際に必要に応じてそのJSONデータから必要十分なデータベースを構築するという運用で考えておりました。 -
@biikame@kunimi_komichi@Watch_Kensho@Gorotano 成程、つまり見切り発車的に、「とりあえずデータだけ溜めておけ」という感じで、仕様をこれから詰める予定だったというわけですね。とするとデータサイジング等は何も考えてなさそうですが・・ -
@immoral__prince@kunimi_komichi@Watch_Kensho@Gorotano データサイジングに関しては実際に運用してみてから負荷をはかっており、事前の見積もりはあまり行われていませんでした -
@biikame@kunimi_komichi@Watch_Kensho@Gorotano ご回答ありがとうございます、とりあえず検証DBでどうしたかったのかだいたいわかりました。
-
-
-
@biikame@immoral__prince@Watch_Kensho@Gorotano ビッグデータ解析を使用する利点ってなんでしょうか？個人的にはJSONを切り分けて正規化されたDBに値を突っ込んで適宜SQLで拾い出すというのがよくあるものだと考えておりました - その他の返信を表示
-
@kunimi_komichi@immoral__prince@Watch_Kensho@Gorotano 検証において必要なデータはさまざまであり、何のデータが必要かは検証する段階になってみないと正確にはわかりません。(続く)
-
読み込みに時間がかかっているようです。
Twitterの処理能力の限界を超えているか、一時的な不具合が発生しています。もう一度試すか、Twitterステータス(英語)をご確認ください。