MapReduce

Go语言的1.17版本发布了，其中开始正式支持泛型了。虽然还有一些限制（比如，不能把泛型函数export），但是，可以体验了。我的这个《Go编程模式》的系列终于有了真正的泛型编程了，再也不需要使用反射或是go generation这些难用的技术了。周末的时候，我把Go 1.17下载下来，然后，体验了一下泛型编程，还是很不错的。下面，就让我们来看一下Go的泛型编程。（注：不过，如果你对泛型编程的重要性还不是很了解的话，你可以先看一下之前的这篇文章《Go编程模式：Go Generation》，然后再读一下《Go编程模式：MapReduce》） 本文是全系列中第10 / 10篇：Go编程模式 Go编程模式：切片，接口，时间和性能 Go 编程模式：错误处理 Go 编程模式：Functional Options Go编程模式：委托和反转控制 Go编程模式：Map-Reduce Go 编程模式：Go Generation Go编程模式：修饰器 Go编程模式：Pipeline Go 编程模式：k8s Visitor 模式 Go编程模式 ： 泛型编程 ...

在本篇文章中，我们学习一下函数式编程的中非常重要的Map、Reduce、Filter的三种操作，这三种操作可以让我们非常方便灵活地进行一些数据处理——我们的程序中大多数情况下都是在到倒腾数据，尤其对于一些需要统计的业务场景，Map/Reduce/Filter是非常通用的玩法。下面先来看几个例子： 本文是全系列中第5 / 10篇：Go编程模式 Go编程模式：切片，接口，时间和性能 Go 编程模式：错误处理 Go 编程模式：Functional Options Go编程模式：委托和反转控制 Go编程模式：Map-Reduce Go 编程模式：Go Generation Go编程模式：修饰器 Go编程模式：Pipeline Go 编程模式：k8s Visitor 模式 Go编程模式 ： 泛型编程 « 上一篇文章下一篇文章 » 目录 基本示例 Map示例 Reduce 示例 Filter示例 业务示例 员工信息 ...

Google 公司的 Jeff Dean 在Stanford大学做了一个非常 精彩的演讲（视频未墙）。我觉得我们每一个人都应该去看一看这个视频，当然，没有字幕，需要不错的听力，当然，我不可能全部翻译出来，因为我也不是完全能听懂，下面是一些相关的Notes，供你参夸，并欢迎牛人指证。 比较了从1999年到2010年十年来的搜索量的变化。搜索量增加了 1000 倍，而搜索速度快了5 倍。1999年，一个网页的更新最多需要一个月到两个月，而今天，只需要几秒钟，足足加快了5w倍。 一开始，这些大量的查询产生了大约30GB的I/O量。2004年，他们考虑过全部重写infrastructure。 讨论了一些关于变量长度字节对齐的东西。 今天的MapReduce 有400万个作业，处理将近1000PB的数据，130PB的中间数据，还有45PB的输出数据。（1PB =1024TB）关于 MapReduce （Google云计算的精髓） 的一些统计，见下图： 现在Jeff正在做一个叫Spanner的项目，这是一个跨多个数据中心的项目。在后来的Q&A中， ...