こんにちは、Algomaticのnaotoota（@OTA57）です。現在はChief of Staffとして横断的にさまざまな支援を実施しています。
今日は先日5/8に行われた生成AIカンファレンス2024の運営のレポートになります。
生成AI Conf実行委員会が主催する年に一度の大型イベントで今回が初の開催でした。
生成AI Conf実行委員会は有志のコアスタッフにより成り立っており、Algomaticからも何名かがコアスタッフとして参画しています。
※「生成AIカンファレンス」はイベントの名前で、「生成AI Conf」はコミュニティの名前です。（ややこしい）
最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。
LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。
JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined や null が出力されてしまうみたいなこともあるでしょう。
どう指示をすれば安定して出力をさせられるのか、苦労している人も多いでしょう。
この記事では、TypeScript + Zod Schemaを使ってプロンプトを生成することで、如何に簡単に狙った通りの構造化データを出力させられるか？それにより圧倒的にプロンプトエンジニアリングが効率化したか？を書きます。
この記事は開発者向けの記事です。TypeScriptを前提にしていますが、他の言語でも考え方は応用可能だと思います。
続きを読む2024/5/14 日本時間の午前2:00にOpenAI社が「Spring Update」と評した発表を行いました。
その中ではGPT-4oという新しいモデルや、無料ユーザー向け機能の拡充、デスクトップアプリ等についての発表がありました。
今回、それを受けて、弊社の機械学習エンジニア宮脇（@catshun_）とCoSの大田（@OTA57）が緊急でpodcastを収録しました。
この記事はその内容をLLMによってQ&A記事風にまとめ直したものになります。
※速度優先で手直しをそこまでできていないので、日本語が一部おかしかったり、記事の内容が一部話した内容と違ったり、漏れていたりしますのでご了承ください。
気になる方はぜひPodcastを聴いてみてください。
こんにちは、Algomatic LLM STUDIO インターンのなべ（@_h0jicha）です。
前回の記事では、LLM の日本語性能を評価するための様々なベンチマークを紹介しました。
しかし、こうしたベンチマークには以下のような課題が存在します。
そこで本記事では、LLM の出力品質を評価する際に活用できる promptfoo について紹介します。
目次
2024年3月24日 (日) 開催の Object-Oriented Conference2024にて、ランチセッション登壇させていただきました。
登壇資料はこちらです。 speakerdeck.com
続きを読む
