DataLoader with multiple workers leaks memory

PyTorch Developer Podcast

Nội dung được cung cấp bởi PyTorch, Edward Yang, and Team PyTorch. Tất cả nội dung podcast bao gồm các tập, đồ họa và mô tả podcast đều được PyTorch, Edward Yang, and Team PyTorch hoặc đối tác nền tảng podcast của họ tải lên và cung cấp trực tiếp. Nếu bạn cho rằng ai đó đang sử dụng tác phẩm có bản quyền của bạn mà không có sự cho phép của bạn, bạn có thể làm theo quy trình được nêu ở đây https://vi.player.fm/legal.

3y ago 16:38

MP3•Trang chủ episode

Today I'm going to talk about a famous issue in PyTorch, DataLoader with num_workers > 0 causes memory leak (https://github.com/pytorch/pytorch/issues/13246). This bug is a good opportunity to talk about DataSet/DataLoader design in PyTorch, fork and copy-on-write memory in Linux and Python reference counting; you have to know about all of these things to understand why this bug occurs, but once you do, it also explains why the workarounds help.

Further reading.

A nice summary of the full issue https://github.com/pytorch/pytorch/issues/13246#issuecomment-905703662
DataLoader architecture RFC https://github.com/pytorch/pytorch/issues/49440
Cinder Python https://github.com/facebookincubator/cinder

83 tập

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning