我尝试运行以下代码来为某个应用程序并行填充一个表。首先定义下面的函数,该函数应该连接到我的数据库并使用给定的值执行sql命令(插入到表中)。
def dbWriter(sql, rows) :
# load cnf file
MYSQL_CNF = os.path.abspath('.') + '/mysql.cnf'
conn = MySQLdb.connect(db='dedupe',
charset='utf8',
read_default_file = MYSQL_CNF)
cursor = conn.cursor()
cursor.executemany(sql, rows)
conn.commit()
cursor.close()
conn.close()
还有一件事:
pool = dedupe.backport.Pool(processes=2)
done = False
while not done :
chunks = (list(itertools.islice(b_data, step)) for step in
[step_size]*100)
results = []
for chunk in chunks :
print len(chunk)
results.append(pool.apply_async(dbWriter,
("INSERT INTO blocking_map VALUES (%s, %s)",
chunk)))
for r in results :
r.wait()
if len(chunk) < step_size :
done = True
pool.close()
一切正常,没有错误。但在最后,我的table是空的,这意味着不知何故插入没有成功。我尝试了很多方法来解决这个问题(包括添加列名以便插入),但都没有成功。如有任何建议,将不胜感激(在python2.7,gcloud(ubuntu)中运行代码。请注意,粘贴到此处后,缩进可能会有点混乱)
还请注意,“chunk”完全遵循所需的数据格式。
注意。这是这个示例的一部分请注意,在上面的示例(链接)中,我唯一要更改的是,我正在分离创建和插入表的步骤,因为我在gcloud平台上运行我的代码,并且它强制执行gtid标准。
1条答案
按热度按时间o2gm4chl1#
解决方案是将dbwriter函数更改为: