PHP基础(026)---shell脚本,python脚本,perl 脚本,Hadoop
shell脚本:
在计算机科学中,Shell俗称壳(用来区别于核),是指“提供使用者使用界面”的软件(命令解析器)。它类似于DOS下的command和后来的cmd.exe。它接收用户命令,然后调用相应的应用程序。基本上shell分两大类:
一:图形界面shell(Graphical User Interface shell 即 GUI shell)
二:命令行式shell(Command Line Interface shell ,即CLI shell)
shell课程大纲
第1章 简介及基础
shell简介及基础
-
shell是什么,为什么要学习shell
-
shell发展史及分类
-
bash功能简介
-
部署设置bash环境
-
shell脚本组成、运行模式及执行方法
-
bash排错方法
-
父shell和子shell
-
常用快捷键
第2章 变量
-
变量分类
-
内部变量
-
预定义变量
-
自定义变量及基本用法
-
数组
-
特殊字符
-
别名
-
Here Document
-
打印特殊字符
第3章 循环结构与流程控制
-
if条件判断
-
case条件判断
-
for循环
-
while循环
-
until循环
-
select命令
-
break和continue
第4章 函数
-
函数用法
-
函数作用范围
-
参数使用
-
建立函数库
-
递归函数
第5章 算术运算
-
算术式简介
-
算术扩展
-
利用expr做算术运算
-
使用$[]做算术运算
-
使用内置变量declare、let做算术运算
-
利用bc做浮点运算
-
进制转换
第6章 重定向与转向
-
文件代码
-
操作文件
-
输入输出转向
-
转向附加
-
标准错误伴随输出转向
-
Here Document转向
第7章 高级变量与字符串操作
-
变量扩展:测试存在性及空值
-
变量扩展:取字符串切片,字符串长度
-
变量扩展:对比样式
-
变量扩展:取变量名称列表,数组索引列表
-
命令替换
第8章 正则表达式
-
入门介绍
-
元字符
-
字条转义
-
重复
-
字符类
-
分支条件
-
反义
-
分组
-
后向引用
-
零宽断言与负向零宽断言
-
贪婪与懒惰
-
注释
-
处理选项
-
平衡组/递归匹配
第9章 sed编辑器
-
sed介绍
-
sed基本语法
-
sed调用方式
-
sed高级用法
第10章 awk学习
-
awk原理介绍
-
awk基本语法
-
awk调用方式
-
awk循环语句
-
awk函数
-
awk数组
-
awk的BEGIN和END模式
-
awk数学运算和字符串操作
-
awk重定向输出
-
awk与bash之间传参调用
-
awk调试方法
第11章 文字与图形接口编程
-
dialog文本接口编程
-
xdialog图形接口编程
第12章 bash网络编程
-
bash网络转向
-
远程执行命令
-
expect与自动登录
第13章 trap陷阱触发
-
信号signal
-
trap运用
第14章 shell脚本加密与包装
-
加密shell脚本
-
生成二进制可执行文件
第15章 shell中常用命令介绍
-
grep命令详解
-
find与xargs
-
sort和uniq命令详解
-
cut命令详解
-
curl与wget命令详解
-
cat、tac与rev
-
tr命令详解
-
paste命令详解
-
join命令详解
第16章 一些shell技巧
-
利用脚本修改密码
-
判断奇偶
-
添加行号与删除行号
-
删除行首空格,删除重复行
-
合并行操作
-
逐行读取操作
-
字符与ASCII码转换操作
-
连接mysql数据库操作
第17章 shell十三问
-
PS1和CR的关系
-
echo知多少
-
“”(双绰号)与”(单引号)差在哪儿
-
export前后差在哪儿
-
exec跟source差在哪儿
-
()与{}差在哪儿
-
$(())和$()、${}差在哪儿
-
$@和$*差在哪儿
-
&&和||差在哪儿
-
>和<差在哪儿
-
你要if还是case
-
for what?while和until差在哪儿?
-
[^ ]和[! ]差在哪儿
第18章 综合实战讲解一
-
系统信息收集脚本
-
备份脚本
-
日志切割脚本
-
nagios监控插件脚本
-
发邮件脚本
第19章 综合实战讲解二
-
系统初始化脚本
-
基础软件安装脚本
-
iptables脚本
-
线上操作记录审核脚本
-
文本完整性审核脚本
-
kickstart配置脚本
python脚本,perl脚本
Hadoop:
一个分布式系统基础架构,由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:
-
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
-
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
-
高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
-
高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
-
低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。
Hadoop带有用Java语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。
Hadoop 的最常见用法之一是 Web 搜索。