Pno Headline News

Tech系のニュースをピックアップして読むのもなんだかしんどくなってきたので、BGM代わりに垂れ流してくれるサイトを作りました。

Youtubeで24時間ライブで配信してます。ニュースがあるときはまとめを読み上げてくれます。ない時は再放送流したり、1時間単位でまとめを話してくれます。

だいたい15分ぐらいの単位で更新されてまとめてる感じです。今はまだ待機時間が多めですが、面白そうなアイデアがあったら枠作って拡充させたいなぁとは考えてます。興味があれば是非見てみてください。

ご意見・ご感想などお待ちしております。

※ 以下余談ですが仕組みとかの話です。

コンセプト

  • Tech系のニュースおいかけるのが面倒、何かしらまとめて読みたい → テキストにしたけど割と量が多い+重複も多いし、読むのも面倒になってきた → ずっと喋らせてBGM代わりにすればいいのでは?

という感じです。
もともとはXとかよりもうちょっと偏ってない元ソースを眺めてみたいなというのがあり、何かいいのないかなと探してたところからがスタートです。
みつけたのはこれです。

ざっくりいうと世界のニュースメディアを継続的にをまとめてデータセットにして公開するプロジェクトです。
網羅的にあるのが良さそうだったので、これを起点に自分が興味ありそうなものを把握しやすいように作っていった感じです。

仕組み

このプロジェクトにGKG(Global Knowledge Graph)というのがあって、記事1つにつき1行のCSVデータが公開されてるのを使います。(Big Queryで取れたりもするのですがCSVのほうが扱いやすいからそっちで)

過去データ不要なら最新のデータのURLをまとめたテキスト情報を取得してその中にあるGKGのCSVを取ってくるという感じです。

だいたい1スロットに1500件前後の記事の情報が入ってます。で、ここから自分の興味がある記事だけピックアップしていくわけです。

ほんとに何でもかんでも入ってるので、例えばTech系を集めたいのであればゴシップ的なのとか芸能ニュース的なのとか政治的なのは不要なわけです。
CSVにThemeとかが入ってるので、興味がないのはそこで除外します。とはいえThemeが設定されてなかったりする場合もあるので、特定キーワードは救済するようにしたり、ある程度自分が欲しい情報がフィルタされるように工夫しておきます。

image

これでだいぶ絞れました。ただそれでも15分の枠で100件も超えるとまだ多いです。
そこで記事の件名などから本当に興味がありそうなのか?という判定を入れることにします。最近SystemOneなJevとか出たので、それを使って判定させることにします。当初はTypeSafe AIのJev使ってたんですが、Microsoft Decision-1(今は1.1)が出たのでそっちを使うようになりました。

今回の使い方は記事タイトルがプロンプトで指定した質問に合致するかどうか?を数値で出させるようにしました。

image

当初はその記事のタイトルが、例えばCloudなのかAIなのかみたいな分類をさせてたのですが、トークンの無駄というのに気づいて1つの問いの%だけ出させるようにしました。(プロンプトもできるだけ短く)

以下は比較用でJev/Microsoft Decision-1.1それぞれで判別させた例です。
imageimage

1つ目の記事は判定結果が0.10ぐらい、2つ目は0.95ぐらいとなって2つめは採用。今回の対象としては釣りの記事とかは要らないのでOKOK。
面白いのは消費トークンで、Jevに比べてMicrosoft Decision-1.1のほうが少ないんですよね。プロンプトなどは同じなんだけど。入力52トークンとかはほぼほぼプロンプトだけぐらいの量。JevのほうはOutputのフォーマットの指示とかも入ってるのかな?ちょっと多いです。速度はJevのほうが早いんだけど。(地理的な影響があるかは不明)
興味がある人はいろいろ比較してみるといいかなと思います。
ちなみにDecision-1を1か月使った結果は以下のようになってます。
image

11万リクエストして53円弱だったら全然いいかな。

という感じでフィルタできたら、あとは本文を取ってきて概要にまとめるところです。(実際は取りこぼしがあるかもしれないからスコア高めで漏れたやつをLLMに投げて処理したりとかもしてますが)

GKGには記事本文は含まれてないので、Tavilyを使ってURLの中身を取ってきてます。
当初はPlaywright使おうかなと思ったのですが、ニュースサイト特有の広告的なやつとか、あとIPアドレス的な問題とかありそうなので結局止めてTavilyにしました。(残念ながらFree枠は超えちゃうんですけど)

あとは本文をLLMに投げて日本語翻訳と概要、ポイント列挙、関連記事へのリンク抽出をさせたりして、DB(Cosmos DB)に保存という感じ。ほら、ニュースサイトって元記事のリンクとかなんかよくわからないじゃないですか。なのでAIにさせちゃうと、、

image

こんな感じのWebサイトを作って最初は満足してたんですけど、、J/Kキーでサクサク捲って見れるんですがなんかそれも面倒になってしまって、、+せっかくなんで24時間配信するか~となって冒頭のになりました。

ちなみにWebサイトのホストはCloudflareです。

ほか、個人的な自分用機能としては自作AgentがまとめたNewsのDBを参照してくるので、今日面白い記事あった?とかでまとめて教えてくれます。便利。

コメントをどうぞ