Algomatic Tech Blog

Algomaticの開発チームによる Tech Blog です

Claude 3.5 Sonnet の評価に関する備忘録

こんにちは。Algomatic NEO(x) の宮脇(@catshun_)です。

本記事では弊社 podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一つとして "Claude 3.5 Sonnet Model Card Addendum" を読んだので、その備忘を共有いたします。

続きを読む

自動プロンプト最適化をやってみた

はじめまして!データサイエンティストの山内(@jof_5)です。

本記事では、日々、プロンプト開発されている皆様に向けて、プロンプトを効率的に開発する手法の一つである「自動プロンプト最適化」について記載いたします。

  • 1. プロンプトエンジニアリングの必要性と課題
  • 2. 自動プロンプト最適化について
    • 2-0. 最適なプロンプトとは何か?☕
    • 2-1. 自動プロンプトの概要
    • 2-2. 自動プロンプト最適化のアーキテクチャ
      • ①Task Executor: LLMによるタスクの実行
      • ②Output Evaluator: 出力の評価
      • ③ Prompt Improver: 最適なプロンプトの生成
  • 3. 実験結果と考察
    • 3-1. 自動プロンプト最適化の有効性の検証
    • 3-2. 最適化プロンプトの生成過程
    • 3-3. 最適化されたプロンプトの特徴
    • 3-4. プロンプト生成用LLM(Prompt Improver)のプロンプトの重要性
  • 4. おわりに
    • 弊社の紹介

1. プロンプトエンジニアリングの必要性と課題

プロンプトエンジニアリングの詳細な定義については別の記事に譲りますが、本記事では「LLMに対して最適な入力(プロンプト)を与え、目的に合った出力を得るための技術」プロンプトエンジニアリングと定義します。

LLM の汎用性を活かし、様々なドメインや問題に対して最適な解決策を得るために、プロンプトエンジニアリングは必要不可欠です。一方で、プロンプトエンジニアリングの必要性は広く認識されていますが、その実践は非常に難しいです。なぜプロンプトエンジニアリングが難しいのでしょうか。筆者はその理由を以下の二点にまとめます:

  1. LLM の不透明性

    • これは LLM に限らず、ディープラーニング全体に言えることですが、LLM の動作原理が非常に複雑でブラックボックス的な性質を持っているため、プロンプトが LLM にどのような影響を与えるのかを正確に把握することが難しいです。そのため、プロンプトの体系的な方法論を確立するのが困難で、プロンプトを考え、LLM に投げ、出力を確認するという試行錯誤を繰り返す必要があります。
  2. 自然言語における探索空間の広さ

    • プロンプトが自然言語であることも、プロンプトエンジニアリングを難しくする要因です。自然言語で記述されるプロンプトは意図を一意に伝えることが難しく、同じ意図を表現するにも様々な表現が可能です。そのため、最適な表現を見つけるには広大な探索空間を探索する必要があります。 つまり、プロンプトエンジニアリングは重要ですが、その実践には試行錯誤が不可避であり、最適なプロンプトを開発することは非常に困難です。
続きを読む

2024.05 - Algomaticで話題になった生成AIニュースまとめ

こんにちは。Algomatic NEO(x) の宮脇(@catshun_)です。

本記事では Inside Algomatic という podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一部として、5月に話題となったニュース一覧を公開します。なお以降で記述するニュースは、社内 slack や技術キャッチアップ会等から抽出しています。

続きを読む

社内文書検索&QAシステムの RAG ではないところ

こんにちは。NEO(x) 機械学習エンジニアの宮脇(@catshun_)です。

RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。
構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。

実際こんな記事も話題になりましたね。

本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。

続きを読む

LLM でブラウザを操作する WEB エージェントと周辺技術のざっくり紹介

こんにちは。Algomatic NEO(x) カンパニー機械学習エンジニアの宮脇(@catshun_)です。

本記事ではブラウザやモバイル画面を操作する LLM エージェントとその周辺技術について超ざっくりと紹介します。

社内に向けたキャッチアップ資料として作成しており、加筆修正する可能性がありますが、本記事を読んだ方の議論のネタ程度になってくれれば幸いです。

続きを読む

JSAI2024(人工知能学会全国大会 第38回) にプラチナスポンサーとして協賛します

こんにちは、Algomatic NEO(x) カンパニーCEOのDory (@dory111111)です。 Algomaticは、JSAI2024(人工知能学会全国大会 第38回) にプラチナスポンサーとして協賛させていただきます!

www.ai-gakkai.or.jp

会期中はAlgomaticブースにてノベルティ配布などもさせていただいておりますので、参加される方はぜひお越しください!

続きを読む

生成AIカンファレンス2024運営レポート

こんにちは、Algomaticのnaotoota(@OTA57)です。現在はChief of Staffとして横断的にさまざまな支援を実施しています。
今日は先日5/8に行われた生成AIカンファレンス2024の運営のレポートになります。

生成AIカンファレンス2024とは?

gen-ai-conf.org

生成AI Conf実行委員会が主催する年に一度の大型イベントで今回が初の開催でした。
生成AI Conf実行委員会は有志のコアスタッフにより成り立っており、Algomaticからも何名かがコアスタッフとして参画しています。
※「生成AIカンファレンス」はイベントの名前で、「生成AI Conf」はコミュニティの名前です。(ややこしい)

続きを読む