言語処理学会第30回年次大会(NLP2024)に参加してきました

こんにちは。エイチームライフデザイン技術開発室の鈴木です。先日2024年3月11日から行われた言語処理学会第30回年次大会(NLP2024)に参加してきました。

概要

NLP2024は神戸国際会議場とオンラインのハイブリッド開催でした。参加者は約2,000人、発表論文数は約600件と、いずれも過去最大規模だったようです。口頭発表とポスターセッションが常に並行して行われており、会場の各所で毎日たくさんの発表がありました。私はどのセッションに参加するかを絞りきれず、会場の5階で行われているポスター発表と地下1階の口頭発表とを往復するような時間もあったほどで、大変充実した時間を過ごす事ができました。

昨年のNLP2023はまだChatGPTが登場したばかりであり、ちょうど開催期間中にGPT-4も登場して大変な話題になりました。しかし去年時点では、それらGPT-3.5やGPT-4を用いた研究はまだ進んでいませんでした。

今回のNLP2024は、ChatGPTが登場してから初の年次大会と言えるのではないかと思います。実際にGPT-4を含む大規模言語モデルを扱った研究発表が数多くありました。私も大規模言語モデルに関するセッションを中心に参加してきました。

大規模言語モデルに関する研究の中でも、最近話題を集めているRetrieval-Augmented Generation（RAG、検索拡張生成）の技術に関するセッションに私は注目していました。RAGに関する研究は企業主導の発表が多く、ビジネスにおいて特に流行している技術のひとつであると感じ取ることができました。発表を聴く中で、RAGの有用性だけでなく評価の難しさやHallucinationへの耐性など技術的な課題についても様々な観点で学ぶことができました。

発表内容

3月14日(木)の午後に、「創造的な文生成タスクに対する LLM プロンプトの自動生成」というタイトルでポスター発表を行いました。

大規模言語モデルを扱う上でプロンプトの内容は性能を大きく左右しますが、プロンプトの最適化には様々な知識が求められます。そこで、大規模言語モデルを用いてプロンプトも自動で生成できないかという研究です。 PromptAgentという先行研究をベースとし、評価において文埋め込みを用いることで、唯一解の無い創造的なタスクに対してプロンプトを最適化する方法を提案しました。詳細は公開されている原稿を御覧ください。

発表を通して、研究内容について多くの議論をすることができました。聴きに来てくださった方々に感謝致します。