2023-12-03

SQLiteでLinderaを使った日本語全文検索

これははてなエンジニアアドベントカレンダー2023 3日目の記事です。

昨日は id:pokutuna さんの

blog.pokutuna.com

でした。私も若い頃に同僚とGitHub上で白熱してしまい観光名所になってしまっていたような気がします。気を付けていきましょう。

さて、この記事では SQLiteでLinderaを使った日本語全文検索をする話を紹介します。

モチベーション

laiso.hatenablog.com

上の記事でも話題になっているように個人開発ではDBのコストは問題です。同様に全文検索したいときにもコストに頭を悩ませているのではないでしょうか？

たとえば Amazon OpenSearch Service は t2.micro でも東京リージョンでは $20.44 /月/台から、冗長化には最低で3台必要です。他にもマネージドなDBで全文検索するにもプラグインや拡張が自由に入れられず日本語の検索に向いたトークナイザが使えなかったりと、安価で楽に運用できる方法はあまりありません。

そこで fly.io の LiteFS Cloud なら10GBまでは $5/月/組織です。fly.io の請求は月 $5未満? *1 *2 は $0 になるようなので実質無料(?)*3で冗長構成です。あとはいい感じに全文検索ができるようになれば解決です。Litestream も良さそうですね。

SQLite のカスタムトークナイザ

SQLite には SQLite FTS5 Extension という全文検索用の Extension があり、これを使うとSQLで全文検索できます。

CREATE VIRTUAL TABLE email USING fts5(sender, title, body);
SELECT * FROM email WHERE email MATCH ? ORDER BY bm25(fts);

デフォルトではあまり日本語の検索に向いたトークナイザはありませんがカスタムトークナイザを load して使うことができます。

既存の日本語向けのカスタムトークナイザは手元でうまく動かせなかったりしたので、signalapp/Signal-FTS5-Extension を fork してみました。オリジナルでは Unicode Text Segmentation を使ってますが、日本語を検索したいので lindera-morphology/lindera を使うように書き換えていきます。Lindera は Meilisearch などでも使われている Rust で書かれた形態素解析ライブラリです。動詞の活用や漢数字の正規化もやってくれます。

できたら .load してテーブル作成時にtokenizerを指定して使います

.load "./lib/libsignal_tokenizer" "signal_fts5_tokenizer_init"
CREATE VIRTUAL TABLE email USING fts5(sender, title, body, tokenize="signal_tokenizer");

signalapp/Signal-FTS5-Extension のライセンスは AGPL 3.0 なので忘れず公開しましょう。

https://github.com/mechairoi/Signal-FTS5-Extension

デモ

試しに簡単なWebアプリケーションを書いて、fly.ioの一番小さいマシン(shared 1 cpu, 256MB)にデプロイしてみます。

https://wispy-wildflower-1272.fly.dev/

アクセスが無いときは0台にスケールする設定にしているのでコールドスタートは遅いです。辞書は lindera-ipadic、データセットは日本語 Wikipedia のサブセット(134万件、335MB) を使っていて、DBのファイルサイズは1021 MBになりました。アプリケーションのソースコードはこちら

https://github.com/mechairoi/litefs-fts-demo

マッチする記事数が多くなるクエリでは少し遅くなりますが、インクリメンタルサーチでも違和感なく使える速度が出ていると思います。

この記事ははてなエンジニア Advent Calendar 2023 3日目の記事でした。次は id:mizdra さんです。楽しみですね。

*1:https://community.fly.io/t/questions-on-100-billing-discount/11133

*2:先月はダッシュボードでは $5.06 でしたが 100% Discount でした

*3:無料で使うにはインスタンスのストレージがトータル3GBまで、詳しくは https://fly.io/docs/about/pricing/

2017-12-26

ghq/fzf で選んだリポジトリに対応する tmux の session を作ったり探したりするスクリプト

gist41201c4579d17253b7bd26e699c6dccb

リポジトリを ghq | fzf で選ぶ
リポジトリに対応する session が tmux になければ作る
対応する session が存在する場合はそれを前面に

といったことを行うスクリプトです。

f:id:mechairoi:20171226225115g:plain

session の current directory がリポジトリのルートに設定されるので、別のシェルを使いたいときは tmux new-window などで新しい端末を開けば cd する必要もありません。作業リポジトリを切り替えたいときも、このスクリプトを起動して選ぶだけで、以前の session があれば記憶とともに蘇ることでしょう。

gist41201c4579d17253b7bd26e699c6dccb

2014-12-10

Wikipedia の作り方 / How to make Wikipedia

こんにちは。アプリケーションエンジニアの id:mechairoi です。
この記事ははてなエンジニアアドベントカレンダー2014 の10日目です。
昨日は id:hatz48 さんの Mackerel と fluentd でサービスの状態を可視化する - Hatena Developer Blog でした。

今日は Wikipedia の作り方について紹介します。

完成イメージ

必要なもの

スチロール半球　450m/m【ディスプレイ用品・デコレーション】
- 出版社/メーカー: ドガ
- メディア:
- この商品を含むブログを見る
- ２つ必要。

モンブラン発泡スチロールカッターA型
- 出版社/メーカー: 清水製作所
- メディア: Tools & Hardware
- クリック: 2回
- この商品を含むブログを見る
- スチロールを切るのに使います。

プリンタ、白の塗料、セロテープ、やわらかい鉛筆、はさみ、のり、お休みの日

作り方

なんとたった７ステップで完成です。

1. くっつける

450mmの半球が届くと想像より大きくてテンションがあがってしまいますが落ち着きます。輪っかにしたセロテープで２つの半球を貼りあわせて球にします。あとで剥がすのでさらっと貼るとよいでしょう。

2. 補助線をひく

くっつけた球にやわらかい鉛筆で補助線をひきます。

f:id:mechairoi:20141210014124j:plain

Wikimedia official marks/About the official Marks - Wikimedia Foundation のいろんな方向からみたWikipediaの様子が参考になります。

f:id:mechairoi:20141210114142j:plain

「W」と「И」の間を通っている線(上図の赤線)が赤道だとすると、南極と北極を結ぶ線を等間隔に10本ひいてから、赤道に平行な線を北半球と南半球に3本づつひきましょう。半球のつなぎ目(上図の青線)と赤道を直交させるとよいでしょう。

やわらかいメジャーやIKEAでもらえる紙の定規があると捗ります。

3. 下書き

スチロールカッターで切断する線を下書きします。

f:id:mechairoi:20141210014128j:plain

ステップ2と同じように Wikimedia official marks/About the official Marks - Wikimedia Foundation をみながら手で雑に書いていきます。ついでにピースに対応する文字も書いておきます。リンク先は各方向から見た様子と展開後とで文字の配置が微妙の異なるので嵌らないように気をつけましょう。

もちろんピースが無いところは自由に想像を膨らませて書きます。

4. スチロールカッターで切る

仮止めしたセロテープを剥がし、スチロールカッターで切ります。

f:id:mechairoi:20141210014132j:plain

一定のペースでカッターを動かすとなめらかに仕上がります。下書きから多少ずれても問題ありません。球の中心から出るレーザーで切るようなイメージでカッターを動かすとやりやすいかもしれません。スチロールの厚みでピースの噛み合わせがうまくいかないところもあるので断面の内側を削って調整します。削り過ぎると安定しなくなるのでほどほどに。半球の境界と重なったピースはセロテープでくっつけます。

ここまでくればパズルを組み立てて遊ぶのもよいでしょう。

f:id:mechairoi:20141210014136j:plain

5. 白く塗る

下書きで汚れたピースの表面を塗料で白く塗って綺麗にします。塗る前にピースの裏に対応する文字を書いておくと後で楽です。

f:id:mechairoi:20141210014140j:plain

6. 文字を入れる

Wikimedia official marks/About the official Marks - Wikimedia Foundation にある文字のSVGを Inkscape とかで適当に並べて印刷します。印刷した文字をはさみで切ってのりで浮かないように貼ります。文字のまわりに白い部分が残ってもほとんど目立たないのでシュッとやるとよいでしょう。

7. 装う

かぶって仮装パーティに向かうもよし、分解してコンパクトなまま持ち込んで現地で組み立てるもよしです。お気に入りのTシャツとコーディネートするのもオススメです。

f:id:mechairoi:20141031105523j:plain

おわりに

はてなでは、パーティを一緒に盛り上げてくれる方やScalaエンジニアも募集しています。

<a href="http://hatenacorp.jp/recruit/">採用情報 - 株式会社はてな</a>

Wikipedia への寄付もお願いします。

Ways to Give - Wikimedia Foundation

明日は id:shimobayashi さんの予定です。よろしくお願いします！

追記

Wikipedia の作り方 - *iroi*
塗装の塗料なにつかったんだろう。ポスカ？
2014/12/10 13:40

最初は

<a href="http://e-shop.asahipen.jp/shopdetail/001005000055/">クリエイティブカラースプレー(100ml) | | 塗料,スプレー |アサヒペン e-shop</a>

のマットホワイトつや消しでやってたんですが、量が足りなかったので2年前に使った

<a href="https://hands.net/goods/4970925494863/">アサヒペン　水性ペイント　0.7L 白 HS｜【東急ハンズネットストア】</a>

の残りを使いました!

2014-09-19

emacs から git-browse-remote で GitHub をいい感じにひらく

emacs git

カーソル位置とかリージョンで選んだ範囲をブラウザで開けるやつです。
C-u つけると --rev になるのがおしゃれポイントです。
以上です。

参考

<a href="http://motemen.hatenablog.com/entry/2014/06/05/released-git-browse-remote-0-1-0">git-browse-remote 0.1.0 を公開しました & Vim からいい感じに GitHub を開く - 詩と創作・思索のひろば (Poetry, Writing and Contemplation)</a>
git-browse-remote 0.1.0 を公開しました & Vim からいい感じに GitHub を開く - 詩と創作・思索のひろば (Poetry, Writing and Contemplation)

の emacs 版

<a href="http://shibayu36.hatenablog.com/entry/2013/01/18/211428">GitHubでの仕事を快適にするコマンドを紹介します - $shibayu36->blog;</a>
GitHubでの仕事を快適にするコマンドを紹介します - $shibayu36->blog;

と同じような機能です。

2014-09-06

Scala use cases at Hatena という発表をしました。#ScalaMatsuri

はてなで最近作っているMackerel

<a href="https://mackerel.io">Mackerel: A Revolutionary New Kind of Application Performance Management</a>
Calling for Beta Testers! Mackerel: A Revolutionary New Kind of Application Performance Management

の開発には Scala を使ってます。
発表では Mackerel で使ってるライブラリとか開発フローとかPerlから変わったこととか紹介しました。
Scala 関係ない話でも大丈夫ですので、まだ会場にいる方はぜひ声をかけてください!

Perl に戻れないとか書いてますが個人の意見ですのでよろしくおねがいします。

2014-08-20

ghq get しつつ cd する

zsh

雑な zsh function. .zshrc に

function gc () {
    cd $(ghq get $1 | tee -a /dev/stderr | tail -n 1 | awk '{ print $NF }')
}

追記: ghq の挙動変わってたので雑な変更

function gc () {
    cd $(ghq get $1 2>&1 | tee -a /dev/stderr | head -n 1 | awk '{ print $NF }')
}

2014-08-20

Slick の lifted embedding で FOR UPDATE する

scala

mechairoi/slick-for-update-sample · GitHub

Slcik の lifted embedding で無理やり FOR UPDATE できようにするサンプル

slick-for-update-sample/Driver.scala at master · mechairoi/slick-for-update-sample · GitHub

みたいに PostgresDriver を継承した MyPostgresDriver を作って,

  import MyPostgresDriver.simple._

  class CoffeesForUpdate(tag: Tag) extends Coffees(tag) with ForUpdateTable
  val coffeesForUpdate = TableQuery[CoffeesForUpdate]

  val q = for {
   c <- coffeesForUpdate if c.price < 9.0
    s <- suppliers if s.id === c.supID
  } yield (c.name, s.name)
  q.list

のように書くと

 select x2."COF_NAME", x3."SUP_NAME" from "COFFEES" x2, "SUPPLIERS" x3 where (x2."PRICE" < 9.0) and (x3."SUP_ID" = x2."SUP_ID") for update of x2

みたいにちゃんとFOR UPDATE するクエリが吐かれる。
FOR UPDATE は DBMS によって文法が結構違うのでリポジトリのは PostgreSQL でしか使えない。