LLMの性能評価に欠かせない！信頼性の高いLLMのベンチマークとは

テーマ

LLMの性能を評価する上で欠かせない”ベンチマーク”（評価指標）。これは、LLMの性能を評価する上で、なんらかのデータセットを用いて、LLMの出力を定量的に評価した値のことですが、これらの点数が「どのような能力を示しているのか」「どのような方法で算出されているのか」を意識したことはありますでしょうか？

本セミナーでは、Givery AI LabのAIエンジニアが登壇し、日本語対応しており、かつ信頼性の高そうな”ベンチマーク”（または評価指標）を抜粋してご紹介します。 ※表記揺れを防ぐために、本記事では「ベンチマーク」で統一します。

AIエンジニア / データサイエンティストとしてのキャリアやお仕事を考えている方はもちろん、実際に生成AIに関連する案件に携わるエンジニアの方も必見です！

📋 コンテンツ

ベンチマーク（評価指標）とは
- 本編：言語能力ベンチマーク
- ベンチマーク”信頼性”の評価基準 / 信頼性が高かったもののご紹介
Q&Aセッション
質疑応答

プログラムは、状況により変更される場合がございますのであらかじめご了承ください。

こんな方におすすめ

AIエンジニア / データサイエンティストとしての就職を考えている方
LLMを扱う案件に携わるエンジニアの方
生成AIを扱う案件にご興味のあるエンジニアの方

登壇者紹介

株式会社ギブリー Givery AI Lab AIエンジニア AI エンジニア 村上和聴: 大学および大学院では、自然言語処理分野で歌詞生成をテーマとして研究。その中でも主に押韻・比喩という歌詞固有の表現手法に焦点を当て、ルールベース×言語モデルという手法を提案した。その結果を国内で発表し研究奨励賞を受賞。査読つき国際学会では筆頭著者としてフルペーパーの採択経験あり。Givery AI Labでは、LLM関連の社内R＆D、LLMベースの自社新規プロダクトの機能の検証・開発や生成AIを用いたPoC案件等を担当。

株式会社ギブリー Givery AI Lab AIエンジニア 鈴木岳之: データサイエンティスト・ML/AIエンジニアとしてNLP深層学習系のR&Dや、各種クライアントへのデータ分析・LLMベースのシステム実装等を提供。現在はPMとしてLLMベース自社プロダクトのAI関連機能改善・実装や、MS製品関連受託開発案件等を担当。また、Givery AI Labのエンジニアチームをリード。

日時

11月26日(火)　12:00-13:00

会場

オンライン

オンライン会議ツールを利用しますので、参加される方には改めて参加方法のご連絡をさせていただきます。

定員

100名

1申込につき1名が参加可能となっております。2名以上での参加を希望する場合は、個人単位でお申し込みください。お申込み人数が大幅に超過する場合は、抽選制とさせていただく場合がございますのでご了承ください。各種営業目的、個人事業主の方のご参加と運営側が判断した場合、別途ご来場お断りの連絡をさせていただいております。

参加費

無料

今回の主催元（Track/Givery AI Lab、及び株式会社ギブリーについて）

デジタル人材の採用・育成・評価プラットフォーム「Track（トラック）」、及び企業のAIプロジェクトを伴走支援する「Givery AI Lab」を有する株式会社ギブリーが主催となっております。

注意事項

ご協力のお願い

※申込後のキャンセルについては、前日までにご連絡ください。
※本セミナーの目的に関係のない営業や勧誘を目的としたご参加はご遠慮ください。運営事務局の判断で事前にお断り、もしくは忠告のうえ退場とさせていただく場合がございます。
※活動模様は、個人情報を伏せたうえ、記録や資料として外部に掲載する場合がございます。事前にご案内いたしますので、ご希望されない方はその際にその旨お申し出ください。