微博的消息队列

离开微博已久，总想着弄点东西出来纪念一下当年的峥嵘岁月:)。在微博，你不能不知道鸟哥 Laruence ，也不能不知道 mq 。 mq 是一个基于 memcached 协议，用 c/c++编写的消息队列中间件，有着高性能、解耦、异步化等特点。现在用 Go 重新实现了一遍，将早前自己用 mq 的过程中觉得有些特性可以加上的，都一一加上了，由于其依赖的东西极少，只是简单用了一个轻巧型的嵌入式数据库 BerkeleyDB ，就可以实现一个 simple 的队列服务 tcp server ，见https://github.com/YoungPioneers/mgq，特性如下：

• 一写多读：举个例子， set myqueue message ，只要 get 的时候， myqueue 开头，#分隔，如 myqueue#1 ，多个客户端之间读是彼此独立的，是不受影响的 默认的 get 是读取队列中未读取的最旧消息
• 支持 getc 操作，支持获取队列中某一个 cursor 位置的数据：举个例子，假设 myqueue 已经有 1000 条数据， getc myqueue 99,就可以获取队列当中 cursor 为 99 的消息 *支持 getr 操作，支持获取队列中某一个 start cursor 位置开始，到 end 的数据：举个例子，假设 myqueue 已经有 20 条数据， getr myqueue 1 10 ,就可以获取队列当中 cursor 为[1-10]的消息
• getn 支持 timeout 机制的阻塞 api 来获取队列中的最新消息，举个例子： getn queue 10,意味着 10s 内有数据则立马返回，否则会 10s 后立马返回数据不存在的错误，默认 getn 的 timeout 是 0s ，永不超时（需要注意的是如果客户端有 getn 的操作，则 set 的另一个客户端需要调用 setn ）

特意做了一下简单的测试，测试结果如下： 针对消息的丢失率，做了一下单个set和get的测试，下面的是消息数为30w，50w，100w时候的结果：平均可以达到每秒2300+的set，5700+的get操作，消息丢失率为0.

message total:30w

mgq message set total:300000, cost total time:123518222205 ns, 2428 per/s ,fail set total:0
mgq message get total:300000, cost total time:51103619703 ns, 5870 per/s ,fail get total:0

message total:50w

mgq message set total:500000, cost total time:210480212729 ns, 2375 per/s ,fail set total:0
mgq message get total:500000, cost total time:87694742059 ns, 5701 per/s ,fail get total:0

message total:100w

mgq message set total:1000000, cost total time:422339921379 ns, 2367 per/s ,fail set total:0
mgq message get total:1000000, cost total time:173768683759 ns, 5754 per/s ,fail get total:0

同时简单做了一下压测，下面的结果依次是1，2，3，4个routine，单个set和get的相对平均耗时时间，more detail Benchmark code

Benchmark_MgqMultiSetAndGet-4 	    2000	    546617 ns/op (1829 per/s)
Benchmark_MgqMultiSetAndGet-4 	    2000	    583259 ns/op (1714 per/s)
Benchmark_MgqMultiSetAndGet-4 	    2000	    723603 ns/op (1381 per/s)
Benchmark_MgqMultiSetAndGet-4 	    2000	    754741 ns/op (1324 per/s)

答:kafka 路过。
答:最近在了解 message queue 这项技术，请问微博内部的消息队列用的是哪种实现？
还有 memcached 协议与 AMQP 协议有哪些区别呢？
答:没给出 benchmark ，没给吞吐量，没说怎么保证可靠性和可靠性有多少，会不会丢数据
这东西在这样的介绍下真会有人用么
楼主快把文档完善一下
答:感谢分享。
答:赞，不错
答:以前用 RabbitMQ ，现在用 beanstalk