SerializeToString, ParseFromString

이녀석들이 나란히 1등, 2등?

패인은 repeated 에 있었다. 몇 가지 부가 정보와 함께 수십만(최대 백만 정도)개의 32bit integer 들을 빠르게 주고받는 시스템인데, 이걸 repeated uint32 id_list; 같은 식으로 만들어 사용했다. 이 녀석을 Serialize, Parse 하는 부분이 대박이었던 것. 테스트 할 때에는 적당히 수백개 정도만 넣어봐서 차이를 잘 못느꼈는데, 이게 커지니까 ... ... -_-a

아마 타입검사라던가, ... 때문이 아닐까 한다.

dgoon@katy:~/works/pb2$ cat test.proto 

message Test {

    repeated uint32 id_list = 1;

};

dgoon@katy:~/works/pb2$ protoc --python_out=. test.proto 

dgoon@katy:~/works/pb2$ cat test.py

import cPickle

import random

from array import array

from test_pb2 import Test

def elapsed(stmt):

    import time

    st = time.time()

    exec(stmt)

    return time.time() - st

test_arr = [r for r in xrange(100000)]

msg_pb2 = Test()

msg_pb2.id_list.extend(test_arr)

arr = array('I', test_arr)

print('pb2 ser: %5.4f' % elapsed('msg_pb2.SerializeToString()'))

print('pb2 ser-par: %5.4f' % elapsed('Test().ParseFromString(msg_pb2.SerializeToString())'))

print('pickle ser: %5.4f' % elapsed('cPickle.dumps(test_arr)'))

print('pickle ser-par: %5.4f' % elapsed('cPickle.loads(cPickle.dumps(test_arr))'))

print('array ser: %5.4f' % elapsed('arr.tostring()'))

print('array ser-par: %5.4f' % elapsed('array("I").fromstring(arr.tostring())'))

dgoon@katy:~/works/pb2$ python test.py

pb2 ser: 0.3849

pb2 ser-par: 0.9537

pickle ser: 0.0400

pickle ser-par: 0.0823

array ser: 0.0004

array ser-par: 0.0006

dgoon@katy:~/works/pb2$ 

... ... ...

구독 리스트를 보면 지는거임