AIエージェントのイベントで「コード生成を伴うLLMエージェント」について登壇しました

こんにちは。NEO(x) の宮脇（@catshun_）です。

2024/07/18 に行われた『Tokyo AI Talks, 応用機械学習と人工知能セミナー: AIエージェント』で登壇いたしましたので、本記事では簡単にイベント概要を振り返りいたします。

社内で Dify ハッカソンを開催しました！

はじめに

はじめまして、Data Scientist の山内（@jof_5）です。

本記事では、先日、社内で開催した Dify ハッカソンの様子について紹介します。

2024.06 - Algomaticで話題になった生成AIニュースまとめ

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。

本記事では Inside Algomatic という podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一部として、6月に話題となったニュース一覧を公開します。なお以降で記述するニュースは、社内 slack や技術キャッチアップ会等から抽出しています。

Claude 3.5 Sonnet の評価に関する備忘録

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。

本記事では弊社 podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一つとして "Claude 3.5 Sonnet Model Card Addendum" を読んだので、その備忘を共有いたします。

自動プロンプト最適化をやってみた

はじめまして！データサイエンティストの山内(@jof_5)です。

本記事では、日々、プロンプト開発されている皆様に向けて、プロンプトを効率的に開発する手法の一つである「自動プロンプト最適化」について記載いたします。

1. プロンプトエンジニアリングの必要性と課題

プロンプトエンジニアリングの詳細な定義については別の記事に譲りますが、本記事では「LLMに対して最適な入力（プロンプト）を与え、目的に合った出力を得るための技術」をプロンプトエンジニアリングと定義します。

LLM の汎用性を活かし、様々なドメインや問題に対して最適な解決策を得るために、プロンプトエンジニアリングは必要不可欠です。一方で、プロンプトエンジニアリングの必要性は広く認識されていますが、その実践は非常に難しいです。なぜプロンプトエンジニアリングが難しいのでしょうか。筆者はその理由を以下の二点にまとめます：

1. LLM の不透明性

   • これは LLM に限らず、ディープラーニング全体に言えることですが、LLM の動作原理が非常に複雑でブラックボックス的な性質を持っているため、プロンプトが LLM にどのような影響を与えるのかを正確に把握することが難しいです。そのため、プロンプトの体系的な方法論を確立するのが困難で、プロンプトを考え、LLM に投げ、出力を確認するという試行錯誤を繰り返す必要があります。

2. 自然言語における探索空間の広さ

   • プロンプトが自然言語であることも、プロンプトエンジニアリングを難しくする要因です。自然言語で記述されるプロンプトは意図を一意に伝えることが難しく、同じ意図を表現するにも様々な表現が可能です。そのため、最適な表現を見つけるには広大な探索空間を探索する必要があります。 つまり、プロンプトエンジニアリングは重要ですが、その実践には試行錯誤が不可避であり、最適なプロンプトを開発することは非常に困難です。

2024.05 - Algomaticで話題になった生成AIニュースまとめ

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。

本記事では Inside Algomatic という podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一部として、5月に話題となったニュース一覧を公開します。なお以降で記述するニュースは、社内 slack や技術キャッチアップ会等から抽出しています。

社内文書検索&QAシステムの RAG ではないところ

こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。

RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。
構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。

実際こんな記事も話題になりましたね。

本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。