전반코드를 블록별로 미리초측정한 결과 결국 인디의 문제가 아니라 mysql문제였습니다.
이번에 mysql의 살인적인 속도에 정말 놀랬습니다.
레코드길이 100바이트미만의 70만개레코드 테블에서 100개정도의 레코드를  select, insert하는데 10000~15000ms씩 걸리는데 레코드수가 늘어남에 따라 엄청나게 느려지더군요. 그것도 localhost에서...
2000만정도를 내다보는데 타산이 서지 않아 결국은 자료중복검사를 포기하고 테블을 다시 만들었습니다.
저같은 함정에 빠지지마세요.
관심을 돌려주신 분들께 참으로 죄송합니다.