Chuyển sang chế độ ngoại tuyến với ứng dụng Player FM !
#180 Skalierung, aber zu welchem Preis? (Papers We Love)
Manage episode 463514997 series 3432292
Skalierung und verteilte Berechnungen: Sind mehr CPUs wirklich immer schneller?
Stell dir vor, du bist Softwareentwickler*in und jeder spricht von Skalierung und verteilten Systemen. Doch wie effizient sind diese eigentlich wirklich? Heißt mehr Rechenpower gleich schnellere Ergebnisse?
In dieser Episode werfen wir einen Blick auf ein wissenschaftliches Paper, das behauptet, die wahre Leistung von verteilten Systemen kritisch zu hinterfragen. Wir diskutieren, ab wann es sich lohnt, mehr Ressourcen einzusetzen, und was es mit der mysteriösen Metrik COST (ausgesprochen Configuration that Outperforms a Single Thread) auf sich hat. Hör rein, wenn du wissen willst, ob Single-Threaded Algorithmen in vielen Fällen die bessere Wahl sind.
Bonus: Ggf. machen nicht alle Wissenschaftler so wissenschaftliche Arbeit.
Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners
Das schnelle Feedback zur Episode:
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk
Links
- Papers We Love: https://paperswelove.org/
- Papers We Love GitHub Repository: https://github.com/papers-we-love/papers-we-love
- Paper “Scalability! But at what COST?”: https://www.usenix.org/system/files/conference/hotos15/hotos15-paper-mcsherry.pdf
- Blogpost “Scalability! But at what COST?”: https://www.frankmcsherry.org/graph/scalability/cost/2015/01/15/COST.html
- Slides “Scalability! But at what COST?”: https://www.usenix.org/sites/default/files/conference/protected-files/hotos15_slides_mcsherry.pdf
- HackerNews Threas #1 zu “Scalability, but at what cost? (2015)”: https://news.ycombinator.com/item?id=11855594
- HackerNews Threas #2 zu “Scalability, but at what cost? (2015)”: https://news.ycombinator.com/item?id=26925449
- Paper “GraphX: Graph Processing in a Distributed Dataflow Framework”: https://www.usenix.org/system/files/conference/osdi14/osdi14-paper-gonzalez.pdf
- GraphChi: https://www.usenix.org/conference/osdi12/technical-sessions/presentation/kyrola
- Stratosphere (nun Apache Flink): http://stratosphere.eu/
- X-Stream: https://sigops.org/s/conferences/sosp/2013/papers/p472-roy.pdf
- Apache Spark: https://spark.apache.org/
- Apache Giraph: https://giraph.apache.org/
- GraphLab: https://github.com/lqvito/graphlab?tab=readme-ov-file
- Dilbert Comics: https://dilbert.com/
- Single Thread Implementierung in Rust: https://github.com/frankmcsherry/COST
- Single Thread Implementierung in C++: https://github.com/MicrosoftResearch/NaiadSamples/tree/master/COST
- Command-line Tools can be 235x Faster than your Hadoop Cluster: https://adamdrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html
- “Naiad” von Microsoft Research: https://www.microsoft.com/en-us/research/project/naiad/
- OpenMP: https://www.openmp.org/
- OpenMPI: https://www.open-mpi.org/
- HotOS 15 Workshop: https://www.usenix.org/conference/hotos15
Sprungmarken
(00:00:00) Papers We Love: Scalability! But at what COST?
(00:03:11) Was bedeutet Skalierung?
(00:05:32) Info/Werbung
(00:06:32) Was bedeutet Skalierung?
(00:16:20) PageRank- und Label Propagation-Algorithmus
(00:24:10) Optimierung der Daten und verwendeten Algorithmen für spezifische Probleme
(00:29:17) COST: Configuration that Outperforms a Single Threat
(00:31:58) Learnings aus dem Paper
(00:37:50) Wissenschaftlicher Anspruch und Einschätzung des Papers
(00:52:34) Was können wir für die Praxis aus dem Paper lernen?
Hosts
- Wolfgang Gassler (https://gassler.dev)
- Andy Grunwald (https://andygrunwald.com/)
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk
185 tập
Manage episode 463514997 series 3432292
Skalierung und verteilte Berechnungen: Sind mehr CPUs wirklich immer schneller?
Stell dir vor, du bist Softwareentwickler*in und jeder spricht von Skalierung und verteilten Systemen. Doch wie effizient sind diese eigentlich wirklich? Heißt mehr Rechenpower gleich schnellere Ergebnisse?
In dieser Episode werfen wir einen Blick auf ein wissenschaftliches Paper, das behauptet, die wahre Leistung von verteilten Systemen kritisch zu hinterfragen. Wir diskutieren, ab wann es sich lohnt, mehr Ressourcen einzusetzen, und was es mit der mysteriösen Metrik COST (ausgesprochen Configuration that Outperforms a Single Thread) auf sich hat. Hör rein, wenn du wissen willst, ob Single-Threaded Algorithmen in vielen Fällen die bessere Wahl sind.
Bonus: Ggf. machen nicht alle Wissenschaftler so wissenschaftliche Arbeit.
Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners
Das schnelle Feedback zur Episode:
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk
Links
- Papers We Love: https://paperswelove.org/
- Papers We Love GitHub Repository: https://github.com/papers-we-love/papers-we-love
- Paper “Scalability! But at what COST?”: https://www.usenix.org/system/files/conference/hotos15/hotos15-paper-mcsherry.pdf
- Blogpost “Scalability! But at what COST?”: https://www.frankmcsherry.org/graph/scalability/cost/2015/01/15/COST.html
- Slides “Scalability! But at what COST?”: https://www.usenix.org/sites/default/files/conference/protected-files/hotos15_slides_mcsherry.pdf
- HackerNews Threas #1 zu “Scalability, but at what cost? (2015)”: https://news.ycombinator.com/item?id=11855594
- HackerNews Threas #2 zu “Scalability, but at what cost? (2015)”: https://news.ycombinator.com/item?id=26925449
- Paper “GraphX: Graph Processing in a Distributed Dataflow Framework”: https://www.usenix.org/system/files/conference/osdi14/osdi14-paper-gonzalez.pdf
- GraphChi: https://www.usenix.org/conference/osdi12/technical-sessions/presentation/kyrola
- Stratosphere (nun Apache Flink): http://stratosphere.eu/
- X-Stream: https://sigops.org/s/conferences/sosp/2013/papers/p472-roy.pdf
- Apache Spark: https://spark.apache.org/
- Apache Giraph: https://giraph.apache.org/
- GraphLab: https://github.com/lqvito/graphlab?tab=readme-ov-file
- Dilbert Comics: https://dilbert.com/
- Single Thread Implementierung in Rust: https://github.com/frankmcsherry/COST
- Single Thread Implementierung in C++: https://github.com/MicrosoftResearch/NaiadSamples/tree/master/COST
- Command-line Tools can be 235x Faster than your Hadoop Cluster: https://adamdrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html
- “Naiad” von Microsoft Research: https://www.microsoft.com/en-us/research/project/naiad/
- OpenMP: https://www.openmp.org/
- OpenMPI: https://www.open-mpi.org/
- HotOS 15 Workshop: https://www.usenix.org/conference/hotos15
Sprungmarken
(00:00:00) Papers We Love: Scalability! But at what COST?
(00:03:11) Was bedeutet Skalierung?
(00:05:32) Info/Werbung
(00:06:32) Was bedeutet Skalierung?
(00:16:20) PageRank- und Label Propagation-Algorithmus
(00:24:10) Optimierung der Daten und verwendeten Algorithmen für spezifische Probleme
(00:29:17) COST: Configuration that Outperforms a Single Threat
(00:31:58) Learnings aus dem Paper
(00:37:50) Wissenschaftlicher Anspruch und Einschätzung des Papers
(00:52:34) Was können wir für die Praxis aus dem Paper lernen?
Hosts
- Wolfgang Gassler (https://gassler.dev)
- Andy Grunwald (https://andygrunwald.com/)
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk
185 tập
Όλα τα επεισόδια
×Chào mừng bạn đến với Player FM!
Player FM đang quét trang web để tìm các podcast chất lượng cao cho bạn thưởng thức ngay bây giờ. Đây là ứng dụng podcast tốt nhất và hoạt động trên Android, iPhone và web. Đăng ký để đồng bộ các theo dõi trên tất cả thiết bị.