こんにちは。NEO(x) の宮脇（@catshun_）です。 2024年もあとひと月程となりましたね。 今年は多くの企業から RAG に関するリリースが発表され、同時に AIエージェント の研究開発が盛んに行われた年だったかと思います。 trends.embed.renderExploreWidget(…

こんにちは。NEO(x) の宮脇（@catshun_）です。 本記事はなつやすみ特集として、これから LLM プロダクトを開発する方に向けて『LLMプロダクト開発のことはじめ』をテーマとした 5分で読める コラムを紹介します ゆるく書くつもりなので、役に立つかどうかは…

LLM APIの最強の一角であるAnthropic Claudeにprompt cachingが実装されました。簡単に言うとプロンプトの先頭から指定の位置までをキャッシュしてくれて、キャッシュを利用できた場合はAPI使用料金と、APIでかかる処理時間が大幅に改善するというものです。…

こんにちは。NEO(x) の宮脇（@catshun_）です。 本記事はなつやすみ特集として、『LLMプロダクト開発のことはじめ』をテーマとした 5分で読める コラムを紹介します といいつつ今回は文量が多くなってしまいました...。 ゆるく書くつもりなので、役に立つか…

こんにちは。NEO(x) の宮脇（@catshun_）です。 本記事はなつやすみ特集として、『LLMプロダクト開発のことはじめ』をテーマとした 3分で読める コラムを紹介します🌻 ゆるく書くつもりなので、役に立つかどうかは分かりません 🙏

こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 LLM から望ましい出力を得るための評価については、評価セットを用いた定量評価などが挙げられますが、本記事では システムへのLLM導入 という側面から動作検証に焦点を当てた話をコラムと…

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。 本記事では弊社 podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一つとして "Claude 3.5 Sonnet Model Card Addendum" を読んだので、その備忘を共有…

はじめまして！データサイエンティストの山内(@jof_5)です。 本記事では、日々、プロンプト開発されている皆様に向けて、プロンプトを効率的に開発する手法の一つである「自動プロンプト最適化」について記載いたします。 1. プロンプトエンジニアリングの必…

こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事…

最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクト…

LLM やプロンプトの性能評価を気軽に行うことができる評価ツール promptfoo を解説します。特にアサーションタイプの種類に着目してまとめます。

はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative A…

LLM エージェントにおける基本機能の一つである計画立案について、その先駆けとなる Plan-and-Solve Prompting について解説します。Zero-shot Prompting (step-by-step に答えて）よりも一貫して正解率の高いプロンプトを提案しています。

大規模言語モデル（LLM）の日本語運用性能を評価するための内容をまとめました。評価方法を人手評価・LLM-as-a-judge・自動評価指標に分類し、JGLUEやMT-Benchなどのツールの利点や課題を解説します。