超凡魔力

常用格式

时分秒格式

备注，如果格式里面没有空格，则可以不加引号。

date '+%Y-%m-%d %H:%M:%S'


# 时间戳格式
current=`date "+%Y-%m-%d %H:%M:%S"`
timeStamp=`date -d "$current" +%s`


#将current转换为时间戳，精确到毫秒
currentTimeStamp=$((timeStamp*1000+`date "+%N"`/1000000))
echo $currentTimeStamp

虽然不把shell当作主力的编程语言，但是在任务中，难免不会用到shell，尤其是拿shell来做为各种程序之间的粘合剂，或者那shell直接做一些简单的任务，或者定时任务。

shell功能强大，代码简省，如果写的合适，shell的性能不输其他专门的脚本语言，但是呢，遇到问题，也是头疼。故，本文的目的是，尽可能多的记录工作中遇到的问题。方便，自己。

postgresql中，自定义函数(udf)，利用python的工具库来计算。

资源

• postgresql的官方手册。[Chapter 46. PL/Python - Python 过程 语言 ]

• Greenplumn从大数据战略到实现

说明

PL/Python使用的Python解释器是Greenplum自带的，位于目录$GPHOME/ext/python下面

pdo对象的使用。pdo是一个统一抽象层，各种具体的数据库，依赖具体的驱动，如pdo_mysql，pdo_pgsq，pdo_sqlite等等。虽然安装依赖，但是，放心，php7以上，它们都已经在标准库了，可能是编译php的时候，并没有编译而已，所以，从标准的php源码中，拷贝即可（注意：一定要版本对应，才行，否则，各种报错等等）

golang也有统一的抽象层，java呢，对应的是jdbc。

shell

• expect模拟方式

本文涉及到ssh的登录验证问题的解决，具体参见文章。

• login (登录)的 PAM 验证机制流程
• 删除/run/nologin文件即可

gploader是一个能将mysql、sqlite、csv等格式文件，导入到postgre数据库的工具，（貌似gp也使用。）网上简单找了一下资源。记录如下。

mysqldump是导出数据、备份数据的工具。可以用docker环境，也可以直接安装相关的客户端。对于不同的数据库之间相互导数据，貌似，导入csv速度比较快。

但是mysql是否能导出csv，甚至想导入部分字段，好像mysqldump很实现。（间接实现，比如mysql 中执行select into 、或者执行建表、则insert into newtable select 等等。）

但是，其实发现，单纯用php的pdo + fputcsv方式，也可以很快。

安装方式：

yum install mysql-client
docker run --rm -it  -v $PWD:/mywork -w /mywork mysql:5.7.23  bash

除了我们平时常用的crud查询，sql中的还有集合运算。比如，最近因为，要确定一个id，在另外一个表中是否存在，即用到了该运算。而自己用到的是联表left join运算。貌似直接用expect更方便。

本文部分内容来自转载。

docker问题