0%
csv文件格式
发表于
更新于
PHP批量插入
发表于
更新于
PHP批量插入
关于数据批量插入,实际上是一个常见的需求。有场景:从某处同步过来一批数据,最简单的方式,收一条,写一条。如果丢失数据,问题不大,就丢一条,但是,这样的效率太低了。所以,最好能先缓存一批数据,然后批量插入。(暂不考虑,更新数据这个需求。)
这便是今天想要探讨的问题。如何让插入数据更快。(面试也经常问)。有了一批数据,1、每条记录插入一次,但是总的,用一个事务控制。速度有提升。2、将500条记录,拼接成一条sql,然后一次插入。效率提供比较明显。3、将一大批数据,直接写入到csv文件中,然后利用数据库工具导入到数据库中。(但是这个需要更大的权限)
关于多条记录拼接成1条sql,其实吧,也是有坑的,对与php这样的动态语言。我曾经踩过坑。对接的是java从mysql抓取到记录,然后用fastjson转换成kafka消息。坑在于,1、null的字段,它直接过滤掉了,导致我收到的字段有缺少。2、另外,还有一个问题,字段的顺序问题,比如插入的顺序name、age,你按age、name那么来,顺序反了肯定也不行。
所以,别想太复杂,直接循环$rows,然后对每一条row,再循环fields,然后将没有的字段赋值为空。这是最简单的方式、也是最简单的方式。
这样,对批量过来的数据,我们已经经过一次了标准化,入库非常简单了。
json中unicode问题
发表于
更新于
json格式的数据存入到数据库中,但是,由于字符串中的特殊情况,进行了转义,结果导致无法转回来。需要对其中的转义过的字符,先替换,再进行json的编解码,就可以了。
you-get与youtube-dl
发表于
更新于
java学习感悟
发表于
更新于