Building a Local Large Language Model (LLM)

The Machine: A computer science education podcast

Nội dung được cung cấp bởi Rob O'Connor. Tất cả nội dung podcast bao gồm các tập, đồ họa và mô tả podcast đều được Rob O'Connor hoặc đối tác nền tảng podcast của họ tải lên và cung cấp trực tiếp. Nếu bạn cho rằng ai đó đang sử dụng tác phẩm có bản quyền của bạn mà không có sự cho phép của bạn, bạn có thể làm theo quy trình được nêu ở đây https://vi.player.fm/legal.

2y ago 51:30

M4A•Trang chủ episode

Another #ComputingWeek talk turned into a podcast! Two Red Hat software engineers, both recent graduates of SETU, returned to discuss the issues surrounding running your own LLM on a local machine, how models and datasets are built and reduced (quantised) so as to run on a laptop rather than an array of servers. Mark Campbell and Dimitri Saradkis provided excellent insight on the technical issues surround this topic, before getting into some of the ethical and moral issues with host Rob O'Connor at the end.

You can connect with all the people on this podcast on LinkedIn at:

Mark Campbell https://www.linkedin.com/in/mark-campbell-76846b194/
Dimitri Saradakis https://www.linkedin.com/in/dimitri-saridakis-32a087139/
Rob O'Connor https://www.linkedin.com/in/robertoconnorirl/

Here are links to some of the tools referenced in the podcast:

Red Hat OpenShift AI https://www.redhat.com/en/technologies/cloud-computing/openshift/openshift-ai

62 tập

#Tech #Rob OConnor