Adapters: the game changer for fine-tuning - Geoffrey Angus - The Data Scientist Show #084

The Data Scientist Show

Nội dung được cung cấp bởi Daliana Liu. Tất cả nội dung podcast bao gồm các tập, đồ họa và mô tả podcast đều được Daliana Liu hoặc đối tác nền tảng podcast của họ tải lên và cung cấp trực tiếp. Nếu bạn cho rằng ai đó đang sử dụng tác phẩm có bản quyền của bạn mà không có sự cho phép của bạn, bạn có thể làm theo quy trình được nêu ở đây https://vi.player.fm/legal.

2M ago 52:45

MP3•Trang chủ episode

I interviewed Geoffery Angus, ML team lead @Predibase to talk about why adapter-based training is a game changer. We started with an overview of fine-tuning and then discussed five reasons why adapters are the future of LLMs. Later we also shared a demo and answered questions from the live audience. Try fine-tuning for free: https://pbase.ai/GetStarted Geoffrey’s LinkedIn:https://www.linkedin.com/in/geoffreyangus Daliana's Twitter: ⁠https://twitter.com/DalianaLiu⁠ Daliana’s LinkedIn: ⁠https://www.linkedin.com/in/dalianaliu/⁠

Daliana's Twitter: ⁠https://twitter.com/DalianaLiu⁠

Daliana’s LinkedIn: ⁠https://www.linkedin.com/in/dalianaliu/

Geoffrey’s LinkedIn: https://www.linkedin.com/in/geoffreyangus

Try finetuning for free: https://pbase.ai/GetStarted

(00:00:00) Intro

(00:01:19) What is Fine-tuning?

(00:08:18) Utilizing Adapters for Finetuning Enhancement

(00:09:50) 5 reasons why adapters are the future of LLMs

(00:26:34) Common Mistakes in Adapters Usage

(00:28:34) Training Your Own Adapter

(00:32:23) Behind the Scenes of the Adapter Training Process

(00:37:51) Config File Guidance for Fine-Tuning

(00:39:41) Debugging Strategies for Suboptimal Fine-Tuning Results

(00:42:23) User Queries: Creating a LoRa Adapter and Future Support

(00:51:06) Key Takeaways and Recap

90 tập

#Tech #Daliana Liu