Solving the GPU shortage: software to 2-4X existing GPU utilization

TechFirst with John Koetsier

Nội dung được cung cấp bởi John Koetsier. Tất cả nội dung podcast bao gồm các tập, đồ họa và mô tả podcast đều được John Koetsier hoặc đối tác nền tảng podcast của họ tải lên và cung cấp trực tiếp. Nếu bạn cho rằng ai đó đang sử dụng tác phẩm có bản quyền của bạn mà không có sự cho phép của bạn, bạn có thể làm theo quy trình được nêu ở đây https://vi.player.fm/legal.

2+ y ago 18:05

M4A•Trang chủ episode

GPUs are rare and expensive right now. Every company doing AI model training needs more, and NVIDIA can't build enough, especially of the NVIDIA H100 GPU.

Run.ai CEO and co-founder Omri Geller says he has a software solution to this hardware problem.

The key: GPUs are mostly idle, even in high-demand settings. According to Geller, his software 2X to 4Xs your GPU capacity on existing hardware, simply by streamlining workloads and maximizing GPU usage time.

In this TechFirst, we chat about:

- the GPU shortage

- how many GPUs we need

- what Open AI is using right now

- whether OpenAI is getting dumber or not

- and much more

As always, get a full transcript and subscribe to the audio podcast at my website:

https://johnkoetsier.com/category/tech-first/

350 tập

#News #Tech News #John Koetsier