こんにちは。NEO(x) の宮脇（@catshun_）です。
本記事はなつやすみ特集として、『LLMプロダクト開発のことはじめ』をテーマとした 3分で読める コラムを紹介します🌻
ゆるく書くつもりなので、役に立つかどうかは分かりません 🙏
なにを書くか？
--- これからLLMプロダクトを開発する方に向けて、LLMをうまく活用するために心がけている話を4回に分けて書きます
先日、内閣府による 世界経済の潮流 2024年 ～AIで変わる労働市場～、総務省による 情報通信白書、 BCG の業務における生成AIの活用に関する 調査レポート が公表されていました。
日本は生成AIの利用率が低い そうですね... 🫠
これ自体が悪いわけではないですが、もうすこし丁寧にいうとこんな感じでした：
- ITを用いた問題解決能力 は OECD 加盟の25カ国で日本がもっとも高いが、自律的学習能力 （15歳対象）はもっとも低い
- 生成AIの個人利用率 では、中国・米国・英国・ドイツが 34~57% 程度であるのに対して、日本では 9% にとどまる
- AIが仕事に与える影響 では、日本は『確信』の割合が調査対象の15カ国でもっとも低く、『不安』の割合がもっとも高い
利用率が低い理由としては、「使い方がわからない」「生活に必要ない」という意見が多い 一方で、生成AIを普段から使用しているほど、効果を感じている人が多く、不安を感じる人が少ないそうです。
ということで、生成AIの導入ハードルを下げるべく、LLM プロダクト開発において、LLMをうまく活用するために心がけている話 についてコラムを書いてみます。
📝 目次はこちら
- 特集の導入、問いをデザインする 👈
- LLM から良い回答をえるための第一歩
- プロンプトエンジニアリング
- LLMプロダクトの評価と検証
まずは 生成AI/LLM の性能を信じる
--- 最初こそまずは『できるヨロコビ』じゃないかい
と、音駒の猫又監督も言ってましたが、LLM プロダクトの開発においてもこのマインドは大事だと思っています。 LLM に対して保守的な設計を考慮することは健全ですが、まずは LLM の性能を信じてみる ということをしています。
「面白がり力」って、最も重要な才能ですよね。あらゆるミッション・仕事、考え方によっては、面白くも、つまらなくもなりうるので
— 大野峻典 | Algomatic CEO (@ono_shunsuke) 2024年7月10日
面白さを見出しハマる才能、仕事で成功する上で大事というのもありますが、シンプルに人生を楽しむ上で超有用ですよね
何事も、面白がっていきましょう
わたし自身、複雑なタスクをエンドツーエンドに行うことに懐疑的ではありますが、 無理難題に関わらず、まずは タスク要求を落とし込んだ指示文を Claude 3.5 Sonnet, Gemini 1.5 Pro などに与えたりします。
きちんと指示文を作成すればそれなりに使えることが多いので、 LLM がどの程度のレベル感で問題を解決できるか、まず試してみます。
このときは、コストを気にせず一番性能が良いモデルで試します。
コストを気にして安いモデルを導入するもうまくいかず... という失敗談はよくあることで、
GPT-4 のコスト低下が1年半で x0.11 となったことを考慮すると、初期投資として高性能なモデルを選択する価値は十分にあるかなと思います。
--- そもそもヒトはどれくらいできるんだっけ？🧐
LLM がどの程度のレベル感で問題を解決できるかを把握するとともに、ヒトに要求する場合の期待値 も定めておきます。 生成AI/LLM が自然と浸透する組織でない場合は、特に 代替による定量的な効果をつねに提示する ことが大事だと思っています。
以下の記事を読んで知ったのですが、「関連する専攻の平均的な大学生にタスクとして与えた場合、彼らは成功できるか、どれくらい時間がかかるか」という インターンテスト を実施するのも良いかもしれません。
問いをデザインする
問いをデザインするといいつつ「課題を定めよう」という話です 😅
ユーザ然り、開発者然りですが、よい応答文をえるためには 解くべき課題を定める ということが重要だと感じています。 ここでは以下の書籍を取り上げ、その道筋について述べようと思います。
ヒトと同じように、LLM も「問いの設定」によって応答内容が変わります。
昨今のAIエージェントには「曖昧なタスク要求でも LLM が自身で考えてタスクを遂行する」という期待が寄せられていますが、当然AIエージェントにおいても「問いの設定」によって応答内容が変わります。
本書では 問いのデザインの手順 を、①課題のデザイン ②プロセスのデザイン、として定義しています。
LLM を用いたプロダクト設計においても同様だと思っていて、まずは以下のような項目から解くべき課題を腰を据えて見つめなおす ことが重要だと思います。
- どのような課題を解きたいのか
- どのような課題は解かなくてよいのか
- 対象としている課題はどのような構造・ワークフローであるのか
- 現在のプロンプトでは LLM にどのようなタスクを依頼しているのか
- LLM では解決できない信頼性の問題はあるか
- など
とくに回答の多様性が許容される one-to-many な雑談型対話に対して、望ましい出力が制限される one-to-one なタスク指向型対話の場合は、まずは タスク要求を明確に定義しつつ、汎用性に制限を設けること が時に重要かなと思います。
特集 #02, #03 では、①課題のデザインに着目します。具体的には「問いをデザインする」ための方法論について、特に LLM におけるプロンプト設計に着目して、深掘りしたいと思います。
また #04 では ②プロセスのデザインに着目します。創造的対話を促進する内容ではありませんが、「長期的な目線で、暗黙の前提を再構成し、改善する」ための、評価と検証について記述したいと思います。
次回予告
次回は、問いをデザインするための方法論として「LLM から良い回答をえるための第一歩」について紹介します🙌
例えば、議論の場では、どちらの質問が、より創造的な対話が生まれやすいでしょうか？
安斎勇樹・塩瀬隆之, 問いのデザイン 創造的対話のファシリテーション, 学芸出版社, 2020
- 居心地が良いカフェとは？
- 危険だけど 居心地が良いカフェとは？
また、以下の問いではどうでしょうか？
安斎勇樹・塩瀬隆之, 問いのデザイン 創造的対話のファシリテーション, 学芸出版社, 2020
- 新しいオフィスの 椅子 のアイデアを考える
- 未来のオフィスにおける 座る を再定義する
次回の記事では、上記のような例を交えて LLM からよい回答をえるための方法 について紹介します 🤗
おわりに
本記事では LLMプロダクト開発のことはじめとして、その導入について記述しました！関連資料として以下の登壇資料も紹介させていただきます 📣
Algomatic では LLM を活用したプロダクト開発等を行っています。 LLM を活用したプロダクト開発に興味がある方は、下記リンクからカジュアル面談の応募ができるのでぜひお話ししましょう！
