ブログの推薦用軽量embedding modelをBekkoに変えた 0 ▲ Democratizing Data 108 days ago · Science · hide · Fediverse post 前回の話はこちらにあるので見てほしい 今、このブログではBekko a25mで関連記事が出るようになっている。そこに至るまでの経緯を書いていこう。 最新版のレポートはこちら レポートを別タブで開く Opus 5が設計する代理指標の罠 正解ラベルのない推薦タスクなため、タグ・カテゴリ一致率という指標をOpus 5が提案した。この代理指標の重大な問題にOpus 5が気づいたため追加調査を行った。 一致率の分母 |P| というのは、推薦された記事に依存して変わるのである。 Bekko a25mは、タグ・カテゴリのついた記事を推薦しやすいという傾向が見られた。なので、再現率が上がり、分母が増えるから一致率が下がるという現象が発生していた。しかも、これをずっとOpus 5はHTMLに補足として書いていたのである!(人もLLMも真面目に読んでいなかった!) Fable 5への切り替えとアノテーションツール これを改善するために、Fable 5に切り替え指標を提案してもらった。今回は、分母を固定する固定プール precision@k とペアワイズAUCを使って比較をした(詳細はレポートを見てほしい)。Top 3についてみると、Bekko a25mのほうが同等か良くなっていた。 現行モデル対 bekko-a25m(英語のP@3は結局人手評価では) しかし、タグ・カテゴリが付与されている記事は限られるし、同じタグがある記事数も限られるということを思い出し、タグの出現頻度分布を見たところ、やはり厳しいだろうとなった。 実際のデータをみないといけないと思い、Claudeに比較とアノテーションのためのツールを作ってもらいブラウザで人手評価をした。ツールでは出力結果に(順位を除いた)差異があったものだけを評価するスタイルになっている。Fableはしれっとactive learningの手法を使ってきたのだ。実は一部出力に対する所見はOpus/Fableにも出してもらっていたが、自分でデータを見ることが大事というのを思い出し初心に帰ったのだ。 アノテーションツール 389記事中162記事を評価したところで打ち切ったのだが、それを元に評価をし直したところ、信頼区間の下限まで見ると自信はないが、top 3の指標の差は全部非負であった。 LLMから得られた所見も役に立った。 The Real… Commenting on Bubbles has been removed. Why? If you want to talk about this post, write to the author, use the comments on their blog if it has them, or reply with a "RE:" post on your own blog. Suggestions? feedback@bubbles.town