ブログの推薦用軽量embedding modelをBekkoに変えようとして、変えれなかった

このサイトでは、 している。prelims-cliはfrontmatterに色々と情報を付加できる をCLIで動くようにしたものである。 実装した当初、embedding modelを使った類似記事推薦をやってみたいと思ったが、当時使ったembedding modelではTF-IDFベースの手法に比べてイマイチな結果しか出なかったため諦めていた。 時は流れ、 に「今どきはCPUでもサクサク動く軽量embedding modelがありますよ」と教えられてGitHub Actionsで動く のであった。 ruri-v3とgraniteが軽量だが性能が良いと言うので試してみたら、TF-IDFと比較してもレコメンド結果をざっと目視で見ても悪くない結果だったので採用した。なにより、sudachiの辞書をGHAからダウンロードするよりもembedding modelをダウンロードする方が速いのである。 つい先週、seconさんが という小型モデルをリリースしたという記事を読んだ。これは、ワンチャン日英大統一できないかなー、日英以外もサポートできないかなーと思って、Claude任せに実験をしてみた。三連休の最終日なのに。 それで、出来た実験結果はこちら。 簡単に言うと、失敗である。 理由はいくつかあるが 自分のサイトのブログ記事の関連に正解データがない 代理指標として記事のタグ・カテゴリが同じものを推薦出来るかを見たが、タグ・カテゴリが付与されている数も少なかった そんな指標で測ったので、日英両方とも既存モデルに対して大幅な改善は得られなかった（およそ誤差レベル） むしろ、レコメンドに使う文字列長を伸ばしたほうが、英語は改善した（データをみたら英語のほうが文字数が多い記事が多かった） 記事の文字数頻度分布 定性的にいくつか見比べても悪くはない感じではあったのだが、好みとしても既存モデルの傾向の方が良かったのもある。 「homebrewを移動してiRubyが壊れたときに見直すポイント」 (tags: ruby) ruri → 「Pythonの環境構築を自分なりに整理してみる」 (環境構築のトラブル) a25m → 「kawasaki.rb #008 を開催しました」 (Ruby) 「新しいPyPIでMarkdownのドキュメントを使う」 (tags: python) ruri →…