(cache)programming-soda

Latest

piqcy

Jul 10, 2021

機械学習を意思決定に役立てる方法を探る: The Recon Approach: A New Direction for Machine Learning in Criminal Law

piqcy

Dec 11, 2020

CDP: Unlocking Climate Solutions に挑戦するPart4(End)

piqcy

Nov 23, 2020

CDP: Unlocking Climate Solutions に挑戦するPart3

Part2で揃えた財務と排出量のデータを組み合わせて指標を作成します。今回は指標を作成し簡単な分析するのみで、その意味付けや改善は次回Part4で行おうと思います(Par…

programming-soda

Exciting research & programming like soda!

More information

Followers

165

Elsewhere

Financial Data Science

CDP: Unlocking Climate Solutions に挑戦するPart2

CDPコンペティションのゴールであるKPI開発について検討します。企業や都市が、環境や社会へのインパクトを考慮に入れた活動をしているかを計測する指標が本コンペティションで開発を求められているKPIです。私の専門は企業価値分析なので、もちろん企業に対するKPI開発を検討します。

piqcy

Nov 15, 2020

CDP: Unlocking Climate Solutions に挑戦するPart1

Kaggleで開催されているCDP: Unlocking Climate Solutionsへ挑戦します。とはいえ私はKaggleのコンペにチャレンジするのは初めてなので、トップNに入ってやろうというより以下3点に注力したいと思います。

piqcy

Nov 3, 2020

企業財務情報をインタラクティブに可視化する Part2

Part2では可視化に使用するAltairの解説を行います。Altairの概要、基本的な使い方、最後に目的とする連動グラフの描画までを解説します。本記事では以下の順で記載していきます。

piqcy

Oct 16, 2020

企業財務情報をインタラクティブに可視化する Part1

前回はXBRLからのデータ取得を行いました。今連載ではデータの可視化に挑戦します。可視化の手法を確立しておくことで、今後注記情報なども含めて構造化していこう・・・としている財務情報について、データを入れればサクッとみられるようにしておきたいと思います。…

piqcy

Oct 3, 2020

財務分析に欠かせない、XBRLを理解する Part3

Part3では、タクソノミ文書の定義を利用してXBRLの情報を読み取ります。Part2では、インスタンス文書のみからの情報抽出を行いました。文書の構造を定義するタクソノミ文書を使用することで、文書構造(財務諸表だと勘定の体系など)に基づいた情報抽出、情報整理が可能です。

piqcy

Nov 20, 2019

財務分析に欠かせない、XBRLを理解する Part2

Part2では、XBRLファイルをPythonで読み込んでいきたいと思います。XBRLとは何か?についてはPart1をご参照ください。Part2では、簡単な抽出から複雑な抽出まで順を追って行っていこうと思います。実装は、以下で公開しています。

piqcy

Oct 22, 2019

Machine Learning Pipeline for Everybody by Airflow

Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part5 (End)

Part5では実際に機械学習パイプラインを運用した知見をまとめます。…

piqcy

Sep 26, 2019

Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part4

Part4はパイプラインの「運用」にフォーカスします。Part3は構築からデプロイまでを扱ったため、その先の話となります。「運用」という言葉がさす範囲は広いですが、本記事ではAirflowにおける「スケジューリング」と「障害復旧」にフォーカスします。スケジューリングは日常の、障害…

piqcy

Apr 18, 2019

Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part3

Part2では、Airflowの基本的な使い方を学びました。Part3では、実際にパイプラインの実装に入っていきたいと思います。とはいえ一度に全部は作れないため、パートに分けて作成をしていきます。今回は、データ収集を担当するパートの一部を実装しようと思います。

piqcy

Mar 28, 2019

Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part2

Part2では、実際にAirflowを使ってパイプラインを構築してみたいと思います。Part1でのサーベイを受けて構成を考える、というのがセオリーですがまずはAirflowの機能がどんなものかをざっくりと体感しようと思います。知らないツールでいきなり高度なものは作れないためです。…

piqcy

Mar 15, 2019

Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part1

Part1では、既存の「機械学習パイプライン」がどのような処理を行なっているのかをサーベイします。Part0で述べた通り、現在の機械学習パイプラインはエンジニア向けに作られていることが多いです。しかし、現在はエンジニア向けであるものが一般化する、と考えれば既存のパイプラインを調べ…

piqcy

Mar 5, 2019

Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part0

本連載では、Apache Airflowを用いて機械学習の専門家ではないユーザー(=エンドユーザー)が、機械学習を活用するためのパイプラインの構築を目指します。Part0では、このチャレンジを行う背景について書いていきたいと思います(長くなってしまったので・・・)。

piqcy

Feb 28, 2019

Graph Convolution for NLP

Graph Convolutionを自然言語処理に応用する Part7(End)

本記事は、Graph Convolutionを自然言語処理に応用する連載の最終回になります。最終回ではこれまで行なった検証とその結果、そこから導かれる考察をまとめたいと思います。項目は以下の通りです。

piqcy

Feb 5, 2019

Graph Convolutionを自然言語処理に応用する Part6

Part6では、Graph Convolutionの性質が活きるタスクの調査を行います。調査はPart4でも行いましたが、今回は調査の観点が異なります。

piqcy

Jan 30, 2019

Graph Neural Networkの処理と効果を理解する: How Powerful are Graph Neural Networks?

Graph Neural Networkはどんな処理を行っていて、それによりどんな識別が可能になるのか？という点を検証した論文”How Powerful are Graph Neural Networks?”があったため、読んでみました。本論文はICLR…

piqcy

Jan 11, 2019

Graph Convolutionで自然言語処理を行う(テキスト分類編) Part5 (End)

Part5ではテキスト分類にあったGraph Convolutionの使い方を検証します。というのも、Part4の実験においてGraph…

piqcy

Dec 28, 2018

Graph Convolutionで自然言語処理を行う(テキスト分類編) Part4

Part4では、Graph Convolutionを利用したテキスト分類機の挙動を分析してみます(実装についてはPart3を参照)。分析のゴールは、テキスト分類において「どんなグラフ構造」の「どんな関係」が精度向上に寄与するのかを明らかにすることです。

piqcy

Dec 21, 2018

Graph Convolutionで自然言語処理を行う(テキスト分類編) Part3

Part3では、Graph Convolutionを利用したテキスト分類を実装します。本編では実装と単純な実行結果を確認し、次回で結果やモデルの動作について詳細な分析を行いたいと思います。

piqcy

Dec 8, 2018

Graph Convolutionで自然言語処理を行う(テキスト分類編) Part2

Part2では、用意したデータセットに対し標準的な手法でどの程度の精度が出るかを確認します。これは絶対的な評価だけでなく、相対的な評価を行うためです。

piqcy

Nov 30, 2018

Graph Convolutionで自然言語処理を行う(テキスト分類編) Part1

本記事から、Graph Convolutionのテキスト分類における効果を検証してみます。Graph Convolutionの手法としては、前連載で実装したGraph Attention Networkを使用します。

piqcy

Nov 22, 2018

Graph Attention Network Layerを実装する Part3 (End)

Part3では、Graphにおける適切なAttentionのかけ方を検証します。というのも、Part2の実験ではGraph Attention…

piqcy

Nov 16, 2018

Graph Attention Network Layerを実装する Part2

Graph Attention…

piqcy

Nov 9, 2018

Graph Attention Network Layerを実装する Part1

Graph Convolutionの一種である、Graph Attention NetworkをKerasのCustom Layerとして実装します。これは、Graph Convolutionを自然言語に応用する検証の一貫です。

piqcy

Nov 4, 2018

Graph Convolutionを自然言語処理に応用する Part5

Part5からは、サーベイ結果を基にGraph Convolutionが有効なシチュエーションを探っていきます。今回は実験内容と実験を行うための実装の紹介で、結果は次回以降となります。

piqcy

Oct 6, 2018

Graph Convolutionを自然言語処理に応用する Part4

Part4では、Graph Convolutionを自然言語処理に応用した研究をサーベイします。これにより、どんなタスクに適用可能なのか、どう実装するのが良いのか、の2点について知見を得たいと思います。

piqcy

Sep 21, 2018

Graph Convolutionを自然言語処理に応用する Part3

Graph Convolutionを自然言語処理に応用するための調査Part3となります。

piqcy

Sep 14, 2018

Graph Convolutionを自然言語処理に応用する Part2

Graph Convolutionを自然言語処理に応用するための調査Part2となります。Part2では、いよいよ実装を見ていきます。Graph Convolutionサーベイ編であるPart1はこちらからご覧ください。

piqcy

Sep 7, 2018

Graph Convolutionを自然言語処理に応用する Part1

Graph Convolutionを自然言語処理に応用するため、何回かに分けて学習した内容をまとめていきます。内容については、最終的にQiitaなどで1記事にまとめる予定です。

piqcy

Aug 31, 2018

Researches

AllenNLPとAmazon SageMakerによる、機械学習の効率化

機械学習におけるモデルの構築と学習は、近年より速く・簡単に・自動的にできるようになってきています。この技術的な進歩は、より多くの仮説 — 様々な研究アイデア、ビジネスデータへの適用 —…

piqcy

Apr 8, 2019

AdvantageでActor-Criticを学習する際の注意点

Advantageを使ったActor-Criticの学習で、ちょっとはまった点があったのでそのことについて書き留めておきたいと思います。要約すると、以下のようになります。

piqcy

Mar 20, 2019

Replay BufferがPolicy Gradientで使えない理由

Replay Bufferは、環境での経験を直接ではなくバッファに貯めて利用する手法です。これにより、学習時に直近の経験だけでなく過去の経験も活用することができます。Deep Q-Network(DQN)登場時から使われている、とても一般的な手法です。

piqcy

Mar 20, 2019

Pythonで学ぶ強化学習 -一問一答-

Pythonで学ぶ強化学習の発売から約1カ月となりました。

piqcy

Feb 22, 2019

Pythonで学ぶ強化学習 -入門から実践まで-を書きました

約1年半ほどかかりましたが、「Pythonで学ぶ強化学習入門から実践まで」を書き上げました。本記事ではAsian Kung-Fu Generationさんがアルバム発売の度に行っている全曲解説にのっとり、各章の見所や苦労した点を紹介したいと思います。

piqcy

Jan 17, 2019

言語モデルの性能が、実装により異なる件を解決する

言語モデルは、自然言語処理において最も基本的なタスクです。ただ、実装によってその性能は大きく左右されます。本記事では「言語モデルの実装」として紹介されることの多い2つの実装パターン、そしてその性能差について解説を行っていきます。

piqcy

Oct 11, 2018

Research Management

Research Manager Meetup #2を開催しました

2019/8/9に、レトリバさんのコラボレーションルームをお借りしてResearch Manager Meetup #2を開催しました。

piqcy

Aug 10, 2019

Research Manager Meetup #2の開催に寄せて

8/9(金)に、研究開発をマネジメントしている方を集めたイベントを開催します。第一回、また企業同士の研究発表会であるCCSE…

piqcy

Aug 2, 2019

Research Manager Meetupを開催しました

6/21(金)に、研究開発部門のマネージャーたちを集めたResearch Manager Meetupを開催しました。そこで語られた内容を振り返りつつ、今後の展開について本記事で綴っていきたいと思います。

piqcy

Jun 24, 2019

Research Manager Meetupの開催に寄せて

6/21(金)に、研究開発部門のマネージャーを集めたMeetupを開催します。「研究開発部門のマネージャー」とは、研究開発のテーマ決めや進捗管理、評価などを行う立場の人を想定しています。本記事ではMeetupの内容と開催した動機について書きたいと思います。

piqcy

Jun 15, 2019

Art

COUNT DOWN JAPANにおける、アーティストのタイムテーブルを予測する(後編)

COUNT DOWN JAPANがもう始まってしまいましたが、平成最後の年越しライブを楽しんでいるでしょうか？前編ではタイムテーブルのデータを収集したので、後編ではその分析を行います。分析を行う前に、仮説を立てます。

piqcy

Dec 30, 2018

COUNT DOWN JAPANにおける、アーティストのタイムテーブルを予測する(前編)

ROCK IN JAPAN/COUNT DOWN JAPANは日本を代表する音楽フェスです。そのため、チケットを取るのも大変です。

piqcy

Dec 1, 2018

Next music production by communicating with AI

I’m studying the machine learning and also love music! So I’m interested in using the machine learning to music production. Recently I…

piqcy

Apr 23, 2017

Tips

piqcy

Jun 14, 2018

Pickle化できないオブジェクトをPickle化する

現在、機械学習における前処理をscikit-learnのPipeline感覚でつなげてしかも保存できる処理を開発しています。

前処理には当然単語の分割といった処理も入るのですが、単語の分割に使用するTokenizer(今回はMeCab/Janome、もしくはspaCyのインスタンス)は複雑なオブジェクトで、Pickle(scikit-learn.external joblib)で保存しようとすると当然エラーになります。

piqcy

Jun 14, 2018

TensorFlowでループを使う

TensorFlowの計算グラフ内で、for/whileのようなループを使いたいときがごくまれにあります。

その時に使える、tf.while_loopを紹介します
実際使用したコード

今回は、逆強化学習のアルゴリズム(線形計画法)を実装する際に逆行列の演算が個別に必要な計算箇所があり、これは一度にはできないためループで処理することにしました。

Tips

Figmaで行うプロトタイピング・・・のはずだった

サービスやアプリの開発を行う時、ちょっと動くデモを作りたくなることが良くあります。本職のデザイナーさんがいればお願いするのが筋なのでしょうが、いないorまだふわっとしていて要件を伝えるコストが高い場合、自分でサクッとできると検証のスピードをぐっと上げられます。

piqcy

Dec 10, 2019

財務分析に欠かせない、XBRLを理解する Part1

XBRLは企業の決算報告などに使用されている文書フォーマットです。XMLに近い形式であり、そのためプログラムからアクセスして報告文書の内容や財務数値などのデータを取得することが可能です。上場企業であれば、EDINETから実際のファイルを取得することができます。

piqcy

Oct 21, 2019

Qiitaで修業を積み、卒業しよう

「最近Qiitaに記事は書かないんですか？」と聞かれる機会があったので、考えていることを書こうかなと思いました。ちょうど卒業シーズンなので、時期的にもいいかなと。本記事の趣旨は以下の通りです。

piqcy

Mar 2, 2019