時刻から Twitter のステータス ID を求める

2015/02/18DevelopmentC#, Twitter

現在、Twitter のステータス ID (Twitter IDs) は、1 ずつインクリメントされているわけではありません。上位の 41bit は、ある時刻からのミリ秒のオフセット値になっています。

ID の上位 bit さえわかれば、Twitter API でステータスを取得する時に使う max_id や since_id に、ある時刻の範囲を指定するといったことが可能です。

Twitter のステータス ID 生成方法と Snowflake

Twitter のステータス ID (63bit) は、上位 bit から次のように構成されています。

timestamp (41bit) : 現在の unixtime から、ある時点の unixtime を引いた値

machine id (10bit) : 生成器に割り当てられた ID。datacenter id + worker id。

sequence (12bit) : 生成器ごとに採番する sequence 番号

特長は、「複数台のマシンを用いて並列に一意な ID の生成が行える」ことです。

この ID 生成器を Twitter 社は Snowflake という名前で、ソースコードを公開しています。

ただし、当初は Apache Thrift と Finagle を元にしていたようですが、現在は Twitter インフラに依存したまったくの別物に置き換わっているとのことで、ソースコードは公開されていません。

当時の Snowflake については、下記スライドがとても参考になります。

Twitterのsnowflakeについて from moai kids

別の手法で ID が生成されているというだけで、ID の構成は変わっていないため、時刻から ID を求めることができます。

時刻からステータス ID を生成する

ID の timestamp となっている「ある時点の unixtime」とは、1288834974657 (2010/11/4 1:42:54 (UTC)) です。

というわけで、timestamp を求め 22bit 上位へシフトすることで、次のように現在の時刻の ID を求めたり、10分間のミリ秒を差し引きすることで10分前の ID を求めたりできます。

	// 現時刻の status id
	var currentId = Convert.ToInt64(
	DateTime.UtcNow.Subtract(
	new DateTime(1970, 1, 1).AddMilliseconds(1288834974657)
	).TotalMilliseconds
	) << 22;

	// 10 minutes 分のミリ秒
	var offset = Convert.ToInt64(
	TimeSpan.FromMinutes(10).TotalMilliseconds) << 22;

	// 10分前の status id
	var pastId = currentId – offset;

view raw

StatusId.cs

hosted with ❤ by GitHub

この方法は、Snowflake の仕組みが使用され始めた 2010/11/4 以降の ID にのみ有効です。

DevelopmentC#, Twitter

Posted by jz5