超凡魔力

君子善思,善假于物,而不物于物。

0%

shell中有些问题很小,又不值得专门写一遍文章来记录。对一些暂时不知道放到哪篇文档的小知识、或者易错点,放到本文来讲。比如sed命令踩得坑。~符号解析问题等。

阅读全文 »

docker中指定入口点的函数,确实有一点技巧。准确来说,它是应该执行的第一条语句。cmd 其实也是交entrypoint点来接管的,只不过,cmd的命令,一般是交给bash -c

阅读全文 »

本篇写一些shell中共用的内容,比如shell的开头,或一些简单的开重用的模块。或者脚本执行计时、定时脚本的编写方式等等。

开头

经常写shell,shell中常用的共享的一些内容。提炼如下:

#/bin/bash

BASEDIR=$(dirname $(readlink -f "$0"))

用得最多的就是这个,做成模版,每个shell都放在第三行上。

BASEDIR=$(cd `dirname $0`;pwd)

或者,多加一些引号

DIR=$(cd "$(dirname "$0")" && pwd)
阅读全文 »

大数据中常用脚本–sort(一)

大数据中常用脚本–sort(二)

1.简介

1.1国际惯例

按照国际惯例先来理论的介绍。

sort是在Linux里非常常用的一个命令,管排序的。工作原理:sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。在其中我们会遇到需要数值排序的,别急,慢慢来,都是干货。

阅读全文 »

大数据中常用脚本–cut :https://blog.csdn.net/Learn_ZhangK/article/details/80284546

1.简介

1.1 国际惯例

按照国际惯例先来理论的介绍。

cut是在Linux里非常常用的一个命令,cut命令是一个选取命令,其功能是将文件中的每一行”字节” ”字符” ”字段” 进行剪切,选取我们需要的,并将这些选取好的数据输出至标准输出。执行过程:选取命令通常是针对一行一行的数据来进行分析的, 并不是整篇信息分析。

阅读全文 »

原文链接:https://blog.csdn.net/Learn_ZhangK/article/details/80284903

本文在转载的基础上,加上自己的笔记,整理而成。

grep常用的命令

grep hello  demo.txt  #在demo.txt文件中,查找hello字符串
grep hello -r .    # 在文件夹中查找,下同,但是略有不同
grep hello -R .   # grep -R hello .    但是千万不能写成 grep -R . hello
grep -2 hello    # 查找前后2行。  如:seq 1 10 |grep -2 5
seq 1 10 |grep -A2 -B3 5   # A前n行  B后n行
seq 1 10|sed 's/^/HELLO/' |grep -iA2 -B3 hello5  # -i 忽略大小写,但是注意,因为其没有参数,可以跟其他命令合并,这是getopts命令行的特性


# 查找指定文件


grep -R --include=*.c main dir   # 查找指定几个目录下的c文件
grep -rn --include='*.c' --include='*.h' re .   # 查找指定文件格式,可以使用 {}符号
阅读全文 »

原文链接:https://blog.csdn.net/Learn_ZhangK/article/details/80241366

1.简介

1.1国际惯例

按照国际惯例先来理论的介绍。

awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。

awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。

阅读全文 »

原文链接:https://blog.csdn.net/Learn_ZhangK/article/details/80392512

1.简介

1.1国际惯例

按照国际惯例先来理论的介绍。

awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。

awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。

阅读全文 »

首先,scratch这个是空的docker镜像,既然是空的,它不支持从docker hub直接下载,(提示报错)。不用手动拉(或创建)该镜像,直接在Dockerfile中用就行。而且,它是docker里面默认的关键字。

它的好处:空镜像scratch,能在符合我们实际业务需求的前提下,确保镜像尺寸尽可能的小。而且,没有预装其他的软件,能使镜像更安全,增加被攻击的难度。

阅读全文 »