Algomatic Tech Blog

Algomaticの開発チームによる Tech Blog です

2024.06 - Algomaticで話題になった生成AIニュースまとめ

こんにちは。Algomatic NEO(x) の宮脇(@catshun_)です。

本記事では Inside Algomatic という podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一部として、6月に話題となったニュース一覧を公開します。なお以降で記述するニュースは、社内 slack や技術キャッチアップ会等から抽出しています。

また 2024.05 のニュース一覧は以下を参照ください。

おことわり

  • 以降で記述するニュースは、私の独断と偏見で抽出しており内容に偏りがあると思います。
  • 解釈や引用に誤りがありましたらご指摘いただけると幸いです。
  • 引用時の名称は原則として引用先の媒体で記述されているものに従っています。
  • プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。

ニュース

学会関連

モデル公開等

論文解説、やってみた記事は極力省略しています。

AIエージェント

Claude 3.5 Sonnet

Claude Sonnet 3.5 については以下のブログでも記述しましたが、ここでは他のベンチマークにおける評価結果を提示します。

LMSYS Chatbot Arena Leaderboard

https://chat.lmsys.org/?leaderboard (2024.06.30)

MMLU-Pro

MMLU に対して、各質問の選択肢を4つから10個に増やし、難易度を大幅に引き上げた評価セット。MMLU-Proは、12,000以上の厳選された質問を学術試験や教科書から収集しており、生物学、ビジネス、化学、コンピュータサイエンス、経済学、工学、健康、歴史、法律、数学、哲学、物理学、心理学、その他の14の分野にわたる。

https://huggingface.co/spaces/TIGER-Lab/MMLU-Pro(2024.06.29)

Berkeley Function-Calling Leaderboard

Pythonと非Pythonの両方のコンテキストにおけるモデルの能力を包括的に評価するように設計されたベンチマークで、単純な関数呼び出し、複数関数、並列関数、並列複数関数などのカテゴリを含み、ASTと実行可能データの両方に基づいて評価を行います。実世界での実行可能性をテストすることで、このベンチマークはモデルが実用的なアプリケーションに対して信頼性のある関数呼び出しを生成できることを保証します。

https://gorilla.cs.berkeley.edu/leaderboard.html (2024.06.22)

PlanBench

LLMの計画および行動や変化についての推論能力をテストするベンチマーク

https://x.com/karthikv792/status/1804514294484365783, (2024.06.20)

Heron VLMリーダーボード

Vision & Languageモデルの評価と自動評価方法を提供。評価は Japanese Heron Bench, Llava Bench に基づく。

http://vlm.nejumi.ai/ (2024.06.29)

WWDC 2024

ブログ・技術取りまとめ等

論文解説、やってみた記事は極力省略しています。

Algomatic の発信まとめ

06/28 - #42「一生一緒に働ける仲間を集める」Algomaticの採用の考え方

CXO 野田 (@ktknd) と CEO 大野 (@ono_shunsuke) が、「一生一緒に働ける仲間を集める」という理念のもと、透明性の高いコミュニケーションや全社員での採用活動などの取り組みについて語っています。

06/27 - ProductZine - 生成AIネイティブなプロダクトのUX設計 ── 生成AI領域のプロダクト作り

CEO 大野 (@ono_shunsuke) が生成AIプロダクトにおける UX 設計の課題の 5 つの観点について記述しています。

06/24 - HR領域向けのサービスづくりを進める「ドメインエキスパート(人事)」の採用ポジションの募集を開始

06/21 - #41「Claude 3.5 Sonnet の性能、使われ方の考察」

Anthropic 最新モデル「Claude 3.5 Sonnet」について CoS 小木曽 (@kgsi) と MLエンジニア 宮脇 (@catshun_) が、Claude 3.5 Sonnetの技術的な解説と、新しい使われ方について考察しています。

同時に Claude 3.5 Sonnet の評価に関するテックブログも投稿しました。

06/21 - #40「入社1周年収録: 生成AIサービス開発の舞台裏(カンパニーCEO池田さん)」

ゴラク事業部のカンパニーCEO 池田 (@ikeda_haruki_) が、生成AI時代の事業開発の難しさや醍醐味、技術的な不確実性と向き合いながら新しい価値を生み出す挑戦の日々について語りました。

06/19 - LLM Night 〜 生成AIソフトウェアアーキテクチャ

ゴラク事業部 CTO 菊池 (@_pochi) が「RAGをテーマに考える、LLMの認知アーキテクチャとソフトウェア設計」について発表しました。

06/18 - ProductZine - 「まず試す」カルチャーの重要性 ── 生成AI領域のプロダクト作り

CEO 大野 (@ono_shunsuke) が、不確実性の高い生成AI技術にいかに向き合うべきか、まず試すカルチャーの重要性について投稿しました。

06/18 - プロダクトマネジメント、プロセス改善を進める「ProductOps」の採用ポジションの募集を開始

06/17 - 自動プロンプト最適化をやってみた

AX事業部 データサイエンティストの山内 (@jof_5) が OPRO をベースとしたプロンプト自動化手法を紹介しました。

06/14 - #39「AIエージェントの可能性と未来の展望」

株式会社ジェネラティブエージェンツ 代表取締役 CEO 西見氏 (@mah_lab) をお招きし、ジェネラティブエージェンツの取り組みやAIエージェントの最新研究動向、社会実装に向けた課題などをお話しいただきました。

06/07 - #38「Algomaticで話題になった生成AIニュースまとめ - 2024年5月」

CoS 小木曽 (@kgsi) と MLエンジニア 宮脇 (@catshun_) が「Algomaticで話題になった生成AIニュースまとめ」として話題になったニュースについて雑駁に紹介しています。

06/07 - unerry開催, ビッグデータカンファレンス2024 SPECTACLEs

AX事業責任者 鴨居 (@hktech94) とNEO(x)事業部 宮脇(@catshun_ が「AIエージェントがもたらすデータサイエンス業務の変革」というタイトルで登壇しました。

06/04 - ProductZine - 「確実に売れるもの」を作れ ── 生成AI領域のプロダクト作り

CEO 大野 (@ono_shunsuke) が生成AI領域の事業作りの要諦のひとつとして、打席数を増やすための組織戦略、打率を上げるために市場リスクを避ける、などについて記述しました。

06/03 - 企業がAI導入を確実に成功させるための6つの観点:DONUTSフレームワークの紹介

AX事業責任者 鴨居 (@hktech94) が企業におけるAI導入の難しさとAI推進に必要な6つの要素を紹介しました。

来月の登壇予定

07/31 - GenAI Playground Meetup #01, #genai_play

GenAI Playground Meetup は、「生成AI分野におけるエンジニアの実践値と経験」をテーマとした、技術コミュニティイベントです。記念すべき第1回のテーマは「生成AI時代におけるアプリケーション設計と思想」です。

07/25 - Azure OpenAI Service Dev Day #AOAIDevDay

ゴラク事業部 CTO 菊池 (@_pochi) が「生成AI時代のソフトウェアエンジニアが持つべきケイパビリティを考える」について登壇します。

07/18 - SEVENDEX - 夜まで生トーク!〜デザインの先にあるビジネス価値〜

DevRel 小木曽 (@kgsi) がモデレータとして登壇します。CXOクラスのデザイナーがどのようにビジネスについて考え、実行しているのかをテーマにトークします。

07/18 - TokyoAI Talks - 応用機械学習人工知能セミナー: AIエージェント

MLエンジニアの宮脇 (@catshun_) が「コード生成を伴うLLMエージェントの最新動向」について登壇します。

07/06 - IVS2024 Day3 - 生成AI時代のユーザーインターフェース

IVS2024 にて横断 CxO 野田(@ktknd)が登壇し、生成AI時代のユーザーインターフェースについて議論します。応答速度の劇的な向上により進化したヒューマンインターフェースや、これまで実現できなかった体験への考察します。

07/05 - IVS2024 Day2 - 生成AIが変える世界 - 革新的プロダクトを生み出す市場選択と開発手法の真髄

IVS2024 にてカンパニーCEOの大野(@ono_shunsuke)が登壇します。 ユーザを魅了する生成AIプロダクト開発に向けて、ビジネス・テクノロジー・デザインの観点から議論します。

07/04,05 - 生成AI CxOと乾杯しNIGHT in IVS KYOTO 2024

IVS2024 KYOTO の公式サイドイベントとして Algomatic が主催する「生成AI CxOと乾杯しNIGHT」を予定しています。生成AI業界の最前線で活躍するCxOと、生成AIを活用したいビジネスリーダーが交流する貴重な機会を提供することで、日本のAI活用を加速させることを目指しています。

https://algomatic-kanpai-night-ivs.peatix.com

07/02 - 生成AIバー ろまんてぃっく Part2 〜わたしが愛した生成AI〜

生成AIに興味のある方が集い、飲みながら気軽に情報交換や議論を行う勉強会「ろまんてぃっく」を開催しました。

おわりに

Algomatic では LLM を活用したプロダクト開発等を行っています。 LLM を活用したプロダクト開発に興味がある方は、下記リンクからカジュアル面談の応募ができるのでぜひお話ししましょう!