AI研究：大規模言語モデルMistral 7Bを作ろう

概要

Mistral 7B（ミストラル・セブン・ビー）は、Mistralが開発した大規模言語モデルです。

3倍以上の大きさのLlama 2に匹敵する性能で、効率性に優れています。

論文を読み、Transformersライブラリを参考に再実装し、テキスト生成することで、AIの最新技術を理解します。

資料

当日18:00に資料のURLをコンパスのメッセージで送信します。

以下は「LLaMA」のワークショップのサンプルです。

• GitHub
• Google Colab

リモート参加

当日18:00にGoogle MeetのURLをコンパスのメッセージで送信します。

準備

• Google Colabを利用できる状態のパソコン
• Hugging FaceのAPIキー
• mistralai/Mistral-7B-Instruct-v0.3の利用規約への同意

タイムライン

講師

芝原 隼人

マッドソフト株式会社代表取締役。3Dダンスモーション生成AIサービス「最強AIダンサー」開発者。慶應義塾大学電子工学科卒、同大学院メディアデザイン研究科博士課程中退後、メガベンチャーでAIを活用したサービスの開発に従事。福岡市主催のハッカソンと起業プログラムでの受賞をきっかけに創業。「面白いプロダクトを作り、世界を変える」ミッションを持ち、新技術の研究開発と社会実装に取り組む。エンジニアカフェコミュニティーマネージャーでもある。

エンジニアカフェ

『エンジニアが集まる、活躍する、成長する街、福岡。』を掲げる福岡市の「エンジニアフレンドリーシティ福岡」活動の一環として、福岡市赤煉瓦文化館内に2019年8月21日オープン。エンジニアがより先鋭的なチャレンジやスキルの幅を広げることができることで多様多種の方に様々な機会を提供したいという想いから、官民一体で生まれたエンジニアのための施設です。

福岡市赤煉瓦文化館

商人の町であった博多地区と、城下町であった福岡地区の境目、西中島橋のすぐそばに、1909年、旧日本生命保険株式会社九州支店として竣工。設計は辰野片岡建築事務所。辰野金吾が後に手掛ける東京駅の丸の内駅舎と同様に、建物には英国のクイーンアン様式が見られる。1972年に福岡市歴史資料館として開館。1994年より福岡市赤煉瓦文化館へ。2019年8月21日より、エンジニアカフェがオープン。今日も、多くの観光客、エンジニア達が訪ねてきています。