千水金年

tech

2017-03-23

2018年2月 提交人:聂启忠 简介:混部技术是指把集群混合起来,将不同类型的任务调度到相同的物理资源上,通过调度,资源隔离等控制手段 , 在保障 SLO 的基础上,充分使用资源能力,极大降低成本。 点评:混部技术已经在阿里开始较大规模应用,而且是作为未来数据中心的标准技术。使用混部技术可以充分利用机器资源,大幅降低成本。我们目前机器使用率普遍不高,使用混部技术正可解决这一问题。 链接

提交人:陈伟星

简介:数据平面开发套件(DPDK)是由Intel等多家公司开发,主要基于Linux系统运行,用于快速数据包处理的函数库与驱动集合,可以极大提高数据处理性能和吞吐量,提高数据平面应用程序的工作效率。

点评:dpdk在腾讯内部已经有一部分在使用。在网络密集型的应用中,linux内核协议栈对于数据包的处理速度较低,利用dpdk可以绕过内核协议栈从而提高数据处理性能

链接

提交人:游佐勇

简介: Kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。

点评:Kubernetes是Google开源的容器集群管理系统,Docker标准容器已经使用Kubernetes管理工作负载,动态管理机器的负载均衡。我们服务机器目前部署还是靠人工估算,可以使用其进行机器管理,实现动态负载均衡。

链接

提交人:邱智勇

简介: libwxfreq是一个腾讯18年新开源的一个高性能频率限制库。通过简洁的几个接口便可以实现通用的可配置的频率 限制功能。配合其他网络框架,便可以实现一个通用的高性能频率控制服务。

点评:与我们这边的频限非常相似,都是以共享内存支持单机模式频限,不过全局存储是非限定的,不一定是redis来储存,也可以配合框架所使用的的存储系统来存储频限统计数据,支持白名单,也支持单一规则内多级频控,

       规则配置上进行了分类处理,分为user,ip等等,而我们这边统一是使用原始key hash之后的64位整型来进行key的存储的。

链接

提交人:夏聪

简介: Quora 的并行服务器架构Webpara到Ultralisk演变。

点评:并行服务架构的演变是为了提高系统的性能,当服务器变的庞大,业务变的多起来,系统交互使用的网络流量这些会变成限制,现在我们的AO,DAO,TWS,proxy,redis等部署都是自己的机器,参考其架构降低这些关联使用的消化可以提高性能。

链接

2018年3月 提交人:刘国强

点评:BRPC是百度内最常使用的工业级RPC框架,百度公司内部有大量使用。支持http、从其他语言通过HTTP+json访问基于protobuf的协议、支持server端开发并能同步或异步处理请求、Client支持同步、异步、半同步;

还可以设置依赖关系后,一同交给框架并行处理;可以通过http界面来调试服务;性能比gprc更优,多线程扩展性好;支持自定义协议。从处理请求方式来看,和我们的hawaii的方式类似,异步程度可以很高。

链接


Comments