くりらじ静岡局から、技術屋目線で技術情報を追いかける番組をお届けします。
…
continue reading
Nội dung được cung cấp bởi iwashi. Tất cả nội dung podcast bao gồm các tập, đồ họa và mô tả podcast đều được iwashi hoặc đối tác nền tảng podcast của họ tải lên và cung cấp trực tiếp. Nếu bạn cho rằng ai đó đang sử dụng tác phẩm có bản quyền của bạn mà không có sự cho phép của bạn, bạn có thể làm theo quy trình được nêu ở đây https://vi.player.fm/legal.
Player FM - Ứng dụng Podcast
Chuyển sang chế độ ngoại tuyến với ứng dụng Player FM !
Chuyển sang chế độ ngoại tuyến với ứng dụng Player FM !
107. LLMをゼロから作るということ w/ Takahiro Omi
MP3•Trang chủ episode
Manage episode 383875982 series 2451650
Nội dung được cung cấp bởi iwashi. Tất cả nội dung podcast bao gồm các tập, đồ họa và mô tả podcast đều được iwashi hoặc đối tác nền tảng podcast của họ tải lên và cung cấp trực tiếp. Nếu bạn cho rằng ai đó đang sử dụng tác phẩm có bản quyền của bạn mà không có sự cho phép của bạn, bạn có thể làm theo quy trình được nêu ở đây https://vi.player.fm/legal.
ストックマークの近江さんをゲストに、大規模言語モデルをゼロから作る方法、学習のデータセット、モデルアーキテクチャ、学習環境への取り組みなどについて語っていただきました。
話したネタ
- どのような大規模言語モデルと作ったのか?特徴は何か?
- データセットに何を使ったのか?
- 日本語と英語とのバランスは?
- 最終的なToken数は?
- 事前学習モデルを作りたいとして、何から考えるのか?
- ノイズのクリーニングと、その方法
- 今回活用したモデルアーキテクチャ(Llama)
- 前回のアーキテクチャは GPT-NeoX
- 今回の学習環境は?
- AWS Trainum 32コア x 16ノード
- 学習にかかった時間は?
- 学習時に大変だったこと・上手くいかなかったことは?
- 学習中のチェックポイントとは何か?
- なぜ、Token生成が速いのか?
- 手元でLLMを動かすときの一番のネックは?
- bit数を落とすFineTuning
- Tokenizerとは何か?
- 日本語の単語区切りはどのように考えるのか?
- 今回のLLM作成のTokenizerは何を使ったのか?
- ビジネスドメインでのLLM評価
- ストックマーク株式会社のRecruitページ
See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
127 tập
MP3•Trang chủ episode
Manage episode 383875982 series 2451650
Nội dung được cung cấp bởi iwashi. Tất cả nội dung podcast bao gồm các tập, đồ họa và mô tả podcast đều được iwashi hoặc đối tác nền tảng podcast của họ tải lên và cung cấp trực tiếp. Nếu bạn cho rằng ai đó đang sử dụng tác phẩm có bản quyền của bạn mà không có sự cho phép của bạn, bạn có thể làm theo quy trình được nêu ở đây https://vi.player.fm/legal.
ストックマークの近江さんをゲストに、大規模言語モデルをゼロから作る方法、学習のデータセット、モデルアーキテクチャ、学習環境への取り組みなどについて語っていただきました。
話したネタ
- どのような大規模言語モデルと作ったのか?特徴は何か?
- データセットに何を使ったのか?
- 日本語と英語とのバランスは?
- 最終的なToken数は?
- 事前学習モデルを作りたいとして、何から考えるのか?
- ノイズのクリーニングと、その方法
- 今回活用したモデルアーキテクチャ(Llama)
- 前回のアーキテクチャは GPT-NeoX
- 今回の学習環境は?
- AWS Trainum 32コア x 16ノード
- 学習にかかった時間は?
- 学習時に大変だったこと・上手くいかなかったことは?
- 学習中のチェックポイントとは何か?
- なぜ、Token生成が速いのか?
- 手元でLLMを動かすときの一番のネックは?
- bit数を落とすFineTuning
- Tokenizerとは何か?
- 日本語の単語区切りはどのように考えるのか?
- 今回のLLM作成のTokenizerは何を使ったのか?
- ビジネスドメインでのLLM評価
- ストックマーク株式会社のRecruitページ
See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
127 tập
Tất cả các tập
×Chào mừng bạn đến với Player FM!
Player FM đang quét trang web để tìm các podcast chất lượng cao cho bạn thưởng thức ngay bây giờ. Đây là ứng dụng podcast tốt nhất và hoạt động trên Android, iPhone và web. Đăng ký để đồng bộ các theo dõi trên tất cả thiết bị.