タイ語処理OSSに4発プルリクを出した初コントリビューション体験記①; 形態素解析

はじめに

タイ語が読めるので、インターン先で社内唯一のタイ語NLPデータサイエンサーとして登用されている者です。

プログラミングは9年以上やっているのですが、初めてOSSにコントリビューションできて嬉しくなったので、その手順と、そのOSSの管理手法について記録を残します。

pythainlpとは？

タイ語の自然言語処理を行うにあたって恐らく全人類が使うであろう大御所ライブラリ pythainlp があります。

これには、

• 形態素解析
• 文章正規化
• ローマ字化
• スペルチェック
• コーパス提供
• ...

など、タイ語の処理に関する森羅万象の機能が搭載されています。

管理は、backさんとwannaphongさんの2名が積極的に行っております。

プルリク1; 形態素解析の改善

人生の初めてのプルリクは、一行の修正でした。

問題点

僕は深層学習の潜在空間を扱うより、原始的なWordVectorを扱う方が好きなので、かなり頻繁に形態素解析（後述）の機能を利用しています。
そこで、あまり嬉しくない挙動を見つけました。

ถ้าไม่รังเกียจสีหน้า(รถ)
もし表現を気にしないなら(車)

が

ถ้า / ไม่รังเกียจ / สีหน้า / (รถ)
もし / 気にしない / 表現 / (車)

と、()が分解されない。

改善手順

まずは最初に、issueを立てました。

形態素解析モジュールに

# match non-Thai tokens
_PAT_NONTHAI = re.compile(
    r"""(?x)
[-a-zA-Z]+|        # Latin characters
\d+([,\.]\d+)*|    # numbers
[ \t]+|            # spaces
\r?\n              # newlines
"""
)

このような正規表現が定数として使われていましたが、「タイ語じゃないもの」をどうして「タイ語以外」と指定せずに、具体的に列挙してるんだ？こうしているから漏れが出たのでは？
という疑問です。

みなさんもちょっと違和感を抱いている模様。

なので、

• レポジトリをフォークして、
• 修正して、
• プルリクエストを提出

しました。

最初の提案

タイ文字の文字コードが\u0E00-\u0E7Fなので、「それ以外」という意味で[^\u0E00-\u0E7F]+ではないかと。

すると×印が。

テストコードとlint(コード規約チェック）が通らなかったとのこと。

当時はGitHub Actionsに触れたことがなかったので、世の中にこんな便利な機能があるんだと震撼し、次の日から自分で使い始めました。

しばらくして皆さまが情報整備を行いました。歯車を動かした感じがしてドキドキ。

テストコードを確認していると、そもそもの仕様変更なので矛盾が生じていた模様。管理者がどう受け止めるかをお伺いすると、

devブランチの更新をpullしてくれと言われたので、pullすると

対象の関数のデフォルト形態素解析器をすり替えた模様。それアリなんだ。

pullしたものの、まだバツ印が。

linterとテストコードがはじかれている模様。

linterの結果報告を見ても、自分の担当箇所のコード規約は大丈夫だという（逆に言うと他の箇所は規約違反のまま残っているんですね）

同様に、テストコードも自分の担当箇所以外がひっかかっているようでした。
問い合わせてみると、

テスト環境の整備が間に合っていないとのこと。かわいそうに。

そこで、こちらはこちらで良からぬ挙動が。12:12pm と空白1つがひっついちゃっているという。

そしてもう直したとのこと。レポジトリ管理者はフォークレポジトリに直接pushできるんですね。

自分がコメントを付け足して、最終的にはこうなりました。

要するに、|で先にパターンを書いておくことにより、「非タイ文字」を ごっそり 区切ってしまうのではなく、非タイ文字の中でも、「アルファベット」「数字」などをさらに区切ることができる、早期returnのような使い方をしています。

_PAT_NONTHAIの変数名に対してはミスマッチしているような気もしますが、勉強になりますね。

最後に

一つの記事にまとめようと思いましたが、縦長になってきたので分割します。（分割記事はあんま伸びないんだよなあ...）

明日ぐらいに、2発目のプルリクについてのお話を書きます。