分类 默认分类 下的文章

#! /bin/bash

## move dirs files to /data/caiji

files=`find ./ -regex ".*.mp4\|.*.jpeg"`

for file in $files; do
    echo "start mode file: $file"
    filepath=`dirname $file`
    mkdirpath="/data/caiji${filepath:1}/"
    echo "mkdir: $mkdirpath"
    sudo -u www mkdir $mkdirpath -p
    if [ $? -ne 0 ]; then
        echo "mkdir exec fail! exit 1"
        exit 1
    else
        echo "mkdir exec success, start move file: $file"
        sudo -u www mv $file $mkdirpath -f
        if [ $? -ne 0 ]; then
            echo "move file fail! jump this"
        else
            echo "move file success, continue next file"
        fi
    fi
done

echo task done!

1、基本语法:

if [ command ]; then
   符合该条件执行的语句
fi

2、扩展语法:

if [ command ];then
   符合该条件执行的语句
elif [ command ];then
   符合该条件执行的语句
else
   符合该条件执行的语句
fi

3、语法说明:
bash shell会按顺序执行if语句,如果command执行后且它的返回状态是0,则会执行符合该条件执行的语句,否则后面的命令不执行,跳到下一条命令。
当有多个嵌套时,只有第一个返回0退出状态的命令会导致符合该条件执行的语句部分被执行,如果所有的语句的执行状态都不为0,则执行else中语句。
返回状态:最后一个命令的退出状态,或者当没有条件是真的话为0。

注意:
1、[ ]表示条件测试。注意这里的空格很重要。要注意在'['后面和']'前面都必须要有空格
2、在shell中,then和fi是分开的语句。如果要在同一行里面输入,则需要用分号将他们隔开。
3、注意if判断中对于变量的处理,需要加引号,以免一些不必要的错误。没有加双引号会在一些含空格等的字符串变量判断的时候产生错误。比如[ -n "$var" ]如果var为空会出错
4、判断是不支持浮点值的
5、如果只单独使用>或者<号,系统会认为是输出或者输入重定向,虽然结果显示正确,但是其实是错误的,因此要对这些符号进行转意
6、在默认中,运行if语句中的命令所产生的错误信息仍然出现在脚本的输出结果中
7、使用-z或者-n来检查长度的时候,没有定义的变量也为0
8、空变量和没有初始化的变量可能会对shell脚本测试产生灾难性的影响,因此在不确定变量的内容的时候,在测试号前使用-n或者-z测试一下
9、? 变量包含了之前执行命令的退出状态(最近完成的前台进程)(可以用于检测退出状态)

常用参数:

文件/目录判断:

[ -a FILE ] 如果 FILE 存在则为真。 
[ -b FILE ] 如果 FILE 存在且是一个块文件则返回为真。
[ -c FILE ] 如果 FILE 存在且是一个字符文件则返回为真。
[ -d FILE ] 如果 FILE 存在且是一个目录则返回为真。 
[ -e FILE ] 如果 指定的文件或目录存在时返回为真。
[ -f FILE ] 如果 FILE 存在且是一个普通文件则返回为真。
[ -g FILE ] 如果 FILE 存在且设置了SGID则返回为真。
[ -h FILE ] 如果 FILE 存在且是一个符号符号链接文件则返回为真。(该选项在一些老系统上无效)
[ -k FILE ] 如果 FILE 存在且已经设置了冒险位则返回为真。
[ -p FILE ] 如果 FILE 存并且是命令管道时返回为真。
[ -r FILE ] 如果 FILE 存在且是可读的则返回为真。
[ -s FILE ] 如果 FILE 存在且大小非0时为真则返回为真。
[ -u FILE ] 如果 FILE 存在且设置了SUID位时返回为真。
[ -w FILE ] 如果 FILE 存在且是可写的则返回为真。(一个目录为了它的内容被访问必然是可执行的)
[ -x FILE ] 如果 FILE 存在且是可执行的则返回为真。
[ -O FILE ] 如果 FILE 存在且属有效用户ID则返回为真。
[ -G FILE ] 如果 FILE 存在且默认组为当前组则返回为真。(只检查系统默认组)
[ -L FILE ] 如果 FILE 存在且是一个符号连接则返回为真。 
[ -N FILE ] 如果 FILE 存在 and has been mod如果ied since it was last read则返回为真。 
[ -S FILE ] 如果 FILE 存在且是一个套接字则返回为真。
[ FILE1 -nt FILE2 ] 如果 FILE1 比 FILE2 新, 或者 FILE1 存在但是 FILE2 不存在则返回为真。 
[ FILE1 -ot FILE2 ] 如果 FILE1 比 FILE2 老, 或者 FILE2 存在但是 FILE1 不存在则返回为真。
[ FILE1 -ef FILE2 ] 如果 FILE1 和 FILE2 指向相同的设备和节点号则返回为真。

字符串判断

[ -z STRING ]    如果STRING的长度为零则返回为真,即空是真
[ -n STRING ]    如果STRING的长度非零则返回为真,即非空是真
[ STRING1 ]    如果字符串不为空则返回为真,与-n类似
[ STRING1 == STRING2 ]   如果两个字符串相同则返回为真
[ STRING1 != STRING2 ]    如果字符串不相同则返回为真
[ STRING1 < STRING2 ]     如果 “STRING1”字典排序在“STRING2”前面则返回为真。 
[ STRING1 > STRING2 ]     如果 “STRING1”字典排序在“STRING2”后面则返回为真。 

数值判断

[ INT1 -eq INT2 ]          INT1和INT2两数相等返回为真 ,=
[ INT1 -ne INT2 ]          INT1和INT2两数不等返回为真 ,<>
[ INT1 -gt INT2 ]           INT1大于INT2返回为真 ,>
[ INT1 -ge INT2 ]          INT1大于等于INT2返回为真,>=
[ INT1 -lt INT2 ]            INT1小于INT2返回为真 ,<
[ INT1 -le INT2 ]           INT1小于等于INT2返回为真,<=

逻辑判断

[ ! EXPR ]       逻辑非,如果 EXPR 是false则返回为真。
[ EXPR1 -a EXPR2 ]      逻辑与,如果 EXPR1 and EXPR2 全真则返回为真。
[ EXPR1 -o EXPR2 ]      逻辑或,如果 EXPR1 或者 EXPR2 为真则返回为真。
[  ] || [  ]           用OR来合并两个条件
[  ] && [  ]        用AND来合并两个条件

其他判断

[ -t FD ]  如果文件描述符 FD (默认值为1)打开且指向一个终端则返回为真
[ -o optionname ]  如果shell选项optionname开启则返回为真

加粗文字IF高级特性:

双圆括号(( )):表示数学表达式

在判断命令中只允许在比较中进行简单的算术操作,而双圆括号提供更多的数学符号,而且在双圆括号里面的'>','<'号不需要转意。

双方括号[[ ]]:表示高级字符串处理函数

双方括号中判断命令使用标准的字符串比较,还可以使用匹配模式,从而定义与字符串相匹配的正则表达式。

双括号的作用:
在shell中,[ $a != 1 || $b = 2 ]是不允许出,要用[ $a != 1 ] || [ $b = 2 ],而双括号就可以解决这个问题的,[[ $a != 1 || $b = 2 ]]。又比如这个[ "$a" -lt "$b" ],也可以改成双括号的形式(("$a" < "$b"))

实例

1:判断目录$doiido是否存在,若不存在,则新建一个

if [ ! -d "$doiido"]; then
  mkdir "$doiido"
fi

2:判断普通文件$doiido是否存,若不存在,则新建一个

if [ ! -f "$doiido" ]; then
  touch "$doiido"
fi

3:判断$doiido是否存在并且是否具有可执行权限

if [ ! -x "$doiido"]; then
  mkdir "$doiido"
    chmod +x "$doiido"
fi

4:是判断变量$doiido是否有值

if [ ! -n "$doiido" ]; then
  echo "$doiido is empty"
  exit 0
fi

5:两个变量判断是否相等

if [ "$var1" = "$var2" ]; then
  echo '$var1 eq $var2'
else
  echo '$var1 not eq $var2'
fi

6:测试退出状态:

if [ $? -eq 0 ];then
    echo 'That is ok'
fi

7:数值的比较:

if [ "$num" -gt "150" ]
    echo "$num is biger than 150"
fi

8:a>b且a<c

(( a > b )) && (( a < c ))
[[ $a > $b ]] && [[ $a < $c ]]
[ $a -gt $b -a $a -lt $c ]

9:a>b或a<c

(( a > b )) || (( a < c ))
[[ $a > $b ]] || [[ $a < $c ]]
[ $a -gt $b -o $a -lt $c ]

10:检测执行脚本的用户

if [ "$(whoami)" != 'root' ]; then
    echo "You have no permission to run $0 as non-root user."
    exit 1;
fi

上面的语句也可以使用以下的精简语句

[ "$(whoami)" != 'root' ] && ( echo "You have no permission to run $0 as non-root user."; exit 1 )

11:正则表达式

doiido="hero"
if [[ "$doiido" == h* ]];then 
    echo "hello,hero"
fi

============其他例子============
1、查看当前操作系统类型

#!/bin/sh
SYSTEM=`uname -s`
if [ $SYSTEM = "Linux" ] ; then
    echo "Linux"
elif [ $SYSTEM = "FreeBSD" ] ; then
    echo "FreeBSD"
elif [ $SYSTEM = "Solaris" ] ; then
    echo "Solaris"
else
    echo "What?"
fi

2、if利用read传参判断

#!/bin/bash
read -p "please input a score:" score
echo -e "your score [$score] is judging by sys now"

if [ "$score" -ge "0" ]&&[ "$score" -lt "60" ];then
    echo "sorry,you are lost!"
elif [ "$score" -ge "60" ]&&[ "$score" -lt "85" ];then
    echo "just soso!"
elif [ "$score" -le "100" ]&&[ "$score" -ge "85" ];then
    echo "good job!"
else
    echo "input score is wrong , the range is [0-100]!"
fi

3、判断文件是否存在

#!/bin/sh
today=`date -d yesterday +%y%m%d`
file="apache_$today.tar.gz"
cd /home/chenshuo/shell
if [ -f "$file" ];then
    echo "OK"
else
    echo "error $file" >error.log
    mail -s "fail backup from test" loveyasxn924@126.com <error.log
fi

4、这个脚本在每个星期天由cron来执行。如果星期的数是偶数,他就提醒你把垃圾箱清理:

#!/bin/bash
WEEKOFFSET=$[ $(date +"%V") % 2 ]

if [ $WEEKOFFSET -eq "0" ]; then
    echo "Sunday evening, put out the garbage cans." | mail -s "Garbage cans out" your@your_domain.org
fi

5、挂载硬盘脚本(windows下的ntfs格式硬盘)

#! /bin/sh
dir_d=/media/disk_d
dir_e=/media/disk_e
dir_f=/media/disk_f

a=`ls $dir_d | wc -l`
b=`ls $dir_e | wc -l`
c=`ls $dir_f | wc -l`

echo "checking disk_d..."
if [ $a -eq 0 ]; then
  echo "disk_d is not exsit,now creating..."
  sudo mount -t ntfs /dev/disk/by-label/software /media/disk_d
else
  echo "disk_d exits"
fi

echo "checking disk_e..."
if [ $b -eq 0 ]; then
  echo "disk_e is not exsit,now creating..."
  sudo mount -t ntfs /dev/disk/by-label/elitor /media/disk_e
else
  echo "disk_e exits"
fi

echo "checking disk_f..."
if [ $c -eq 0 ]; then
  echo "disk_f is not exsit,now creating..."
  sudo mount -t ntfs /dev/disk/by-label/work /media/disk_f
else
  echo "disk_f exits"
fi

tensorflow的新版本的安装是不分CPU和GPU版本的,直接 pip install tensorflow 就行了

重要的是cuda和cudnn的安装和配置,搞了很久就是用不了GPU

一、NVIDIA 官网 下载安装:CUDA toolkit

https://developer.nvidia.com/cuda-toolkit 下载 11.7.1 版本
安装时,如果已经安装过其它NVIDIA驱动也可以直接再安装

安装时一定要选择【自定义安装】,选项选择:

  1. 可以去掉 nvidia geforce experience .. (这个程序没啥用)
  2. 去掉cuda->visual studio interation (如果没有安装visual studio的IDE的话,根本没用,一般也不用这个IDE所以我选择不要)
  3. diriver components->下面的驱动的话,看一下当前版本和这个程序自带的新版本,自带的版本高于已安装的版本就勾上,否则就去掉吧(如果已经安装过了nvidia驱动应该能看到已有版本号)
    576ED9F1-56D7-4962-A1A9-E58BBA21A696.png
    811D38A8-1D9B-46c5-846C-8E2C43BFB406.png
    F4E8FF23-97F0-40d5-B960-9A82FEB743C2.png

这个安装后一般会需要重启才能生效的,选择等一会把cudnn一并配置好后重启即可。

二、NVIDIA 官网 下载安装:CUDNN (这个程序是需要登录后,加入到开发者身份才能下载,加入也简单,注册账号,填写一个个人资料就可以顺利下载到)

这里要注意cudnn需要与CUDA toolkit的版本兼容才能使用,不然以后在运行tf程序的时候,可能会出现意外终止问题(看到 Loaded cuDNN version 之后就意外退出了,没有任何报错信息)
下载时,一定要看看下载到兼容版本的
https://developer.nvidia.com/rdp/cudnn-archive

这个下载回来后不需要安装,直接解压后就可使用,我的方法是解压后,把文件夹名字改成【cudnn】然后放到CUDA的安装目录里

三、重点:环境变量的配置

需要四个环境变量:

# CUDA toolkit安装后应该会自动添加好以下两个环境变量
$CUDA\bin
$CUDA\libnvvp
# 以下两条是需要手动添加的,添加到上移置顶
$CUDA\extras\CUPTI\lib64
$CUDA\cudnn\bin

61414EDB-3398-4a72-A44D-98E6F04047B2.png

重启电脑让显卡驱动生效。

验证是否有可用的GPU

import tensorflow as tf
tf.test.is_gpu_available()  #True or False  ,  TF1.x 和 TF 2.x中都适用
tf.config.list_physical_devices('GPU')  #会得到一个可用的GPU的设备列表

参考文章:https://www.jianshu.com/p/b30f07055e2e

下面命令行的作用时,拼接两个视频,一个视频为17秒,一个视频为4秒,将其拼接为视频会议模式(即一个视频源始终存在,另一个视频源在10秒后接入,持续4秒后挂断)期间第二个视频源位置为黑屏

ffmpeg -y -i C:\Users\Li\Desktop\rtc-1000008.webm -i C:\Users\Li\Desktop\rtc-1000009.webm 
-filter_complex  
"color=color=Black:size=1280x480:d=17.625,format=pix_fmts=yuv420p[bg];
color=color=Black:size=640x480:d=17.625,format=pix_fmts=yuv420p[n0-0-bg];
movie='C\:/Users/Li/Desktop/rtc-1000008.webm':stream_index=0,scale=w='iw*min(640/iw,480/ih)':h='ih*min(640/iw,480/ih)'[n0-0-fg];
[n0-0-bg][n0-0-fg]overlay=x=(W-w)/2:y=(H-h)/2[n0-0];
[n0-0]concat=n=1:v=1:a=0[s-0-0];
color=color=Black:size=640x480:d=10.343,fifo[s-0-1-hd];
color=color=Black:size=640x480:d=4.279,format=pix_fmts=yuv420p[n1-0-bg];
movie='C\:/Users/Li/Desktop/rtc-1000009.webm':stream_index=0,scale=w='iw*min(640/iw,480/ih)':h='ih*min(640/iw,480/ih)'[n1-0-fg];
[n1-0-bg][n1-0-fg]overlay=x=(W-w)/2:y=(H-h)/2[n1-0];
[n1-0]concat=n=1:v=1:a=0[s-0-1-bd];[s-0-1-hd][s-0-1-bd]concat,fifo[s-0-1];
[bg][s-0-0]overlay=x='0+(640-w)/2':y='0+(480-h)/2':eof_action=pass[bg+s-0-0];
[bg+s-0-0][s-0-1]overlay=x='640+(640-w)/2':y='0+(480-h)/2':eof_action=pass" 
-filter_complex 
"aevalsrc=0|0:d=0.0[a0b];[0:1]aresample=48000:async=1,afifo[a0-s0];[a0-s0]anull[a0m];aevalsrc=0|0:d=0.0[a0e];[a0b][a0m][a0e]concat=n=3:v=0:a=1,afifo[a0];aevalsrc=0|0:d=10.343[a1b];[1:1]aresample=48000:async=1,afifo[a1-s0];[a1-s0]anull[a1m];aevalsrc=0|0:d=3.3[a1e];[a1b][a1m][a1e]concat=n=3:v=0:a=1,afifo[a1];[a0][a1]amerge,pan=stereo|c0<c0+c1|c1<c2+c3,dynaudnorm=n=0:g=15:r=1.0"
 -c:v libx264 -preset superfast -crf 28 -r 15 -movflags +faststart -c:a aac C:\Users\Li\Desktop\20190624180636-000000004.mp4

每一个 -i [input]都作为一个输入流,在filter_-i image1.png//第一个水印图片中为 [0:v] [1:v] [2:v]…
对于 -i 与 0:v… 的解释 通过下面加水印的例子可以清楚:

ffmpeg -i input.mp4 -i image1.png -i image2.png -filter_complex [1:v]scale=100:100[img1];[2:v]scale=1280:720[img2];[0:v][img1]overlay=(main_w-overlay_w)/2:(main_h-overlay_h)/2[bkg];[bkg][img2]overlay=0:0 -y output.mp4

我们把他拆开,其实他由以下部分组成:

//1.起始

ffmpeg

//2.输入

-i input.mp4//这个是原始文件
-i image1.png//第一个水印图片
-i image2.png//第二个水印图片

//3.滤镜

-filter_complex [1:v]scale=100:100[img1];[2:v]scale=1280:720[img2];0:voverlay=(main_w-overlay_w)/2:(main_h-overlay_h)/2[bkg];bkgoverlay=0:0

//4.输出

-y output.mp4//输出文件

1、2、4部分的含义一目了然。3里头的scale和overlay也是字面的意思,不难理解。

然而,-filter_complex滤镜的参数结构就不是那么好理解了,比如说那一坨[]里头的东西是什么?

一个个解释

[1:v]这个里头两个参数,1表示的是操作对象的编号。在本例中0就是原始视频文件input.mp4,1就是image1.png,2就是image2.png,3就是output.mp4。而另一个参数v表示操作对象里的视频信息。

[img1]是这个操作过滤器的名字。(当然名字可以随便起)

所以这头一句[1:v]scale=100:100[img1]的意思就是对图片imagei.png进行调节尺寸的操作,并将这个操作的结果命名为img1。

后面的[2:v]和[img2]也是一个意思。

我们继续,overlay前面0:v凑一起是什么意思呢。

0自然就是指的原始视频,这句的意思就是将[img1]叠加到0对象的视频上。本例中就是把image1.png叠加到input.mp4上。

这里需要注意的就是顺序:后一个对象叠加到前一个上,后一个对象在上层。

如果写成img1,那相对本例其实就是把视频叠加到图片imge1.png上。这样的话一般来说由于视频通常是全屏,等于用视频覆盖了图片,水印完全看不到了。

好,我们又把这个操作的结果命名为[bkg],那么接下来bkg的意思就很明了了。就是把image2.png再叠加上去,image2.png是在最上层的,如果位置重合的话,他会遮盖 image1.png的水印。

NOTE: 在对封装格式的视频处理后,一定指明音频怎么处理,否则ffmpeg报错(未测出)

Cannot find a matching stream for unlabeled input pad 0 on filter
Parsed_drawtext_4

下面时正确的操作:

ffmpeg -i input.mp4 -filter_complex “movie=input.mp4:stream_index=0,scale=1280:480[ss];drawtext=fontfile=simhei.ttf:x=650:y=10:fontsize=24:text=‘easemob’:fontcolor=yellow:enable=‘between(t,10.343,14.622)’,scale=1280:480[a];[a]drawtext=fontfile=simhei.ttf:x=10:y=10:fontsize=24:text=‘easemob’:fontcolor=yellow,scale=1280:480[b];[ss][b]overlay=0:0” -c:v libx264 -preset superfast -crf 28 -r 15 -movflags +faststart -c:a aac -y C:\Users\Li\Desktop\20190624180636-000000005.mp4

使用filter_complex时,一定要保证多于两个视频或者音频源。否则不建议使用

filter_complex 部分参数说明:

  • color 是一种幕布,可以作为一个视频源,在文章一开始给的例子中,就作为一个视频源使用,它可以通过 d 参数设定它的持续时间。
  • movie 导入视频源,可以视频视频或者图片作为视频源。
  • overlay 叠加视频,可以指定叠加视频的相对位置
  • concat 拼接视频,可以将视频进行拼接
  • fifo 队列,用于排列视频,与concat 一同使用
  • scale=100:100 缩放
  • colorchannelmixer

为视频设置透明度的几种方案

format=yuva444p,colorchannelmixer=aa=0.5

ffmpeg -i a2.mp4 -i a3.mp4 -filter_complex [0:v]format=yuva444p,colorchannelmixer=aa=0.5[valpha];[1:v][valpha]overlay=(W-w)/2:(H-h)/2 -ss 0 -t 5  -y overlay4.mp4
# 将两个视频完全叠加在一起,上一层的视频透明度全透明(看不见)
ffmpeg -i a2.mp4 -i a3.mp4 -filter_complex "[1:v]format=yuva444p,colorchannelmixer=aa=0[hid];[0:v][hid]overlay=0:0" -y overlay4.mp4

对图片有效,经过测试

ffmpeg -i in4.png -i a3.mp4 -filter_complex [0:v]geq=a='122':lum='lum(X,Y)':cb='cb(X,Y)':cr='cr(X,Y)'[topV];[1:v][topV]overlay=(W-w)/2:(H-h)/2 -ss 0 -t 5 -y overlay3.mp4

同方案二,只是先将视频转换成一张张帧序列然后再使用方案二

此处经过测试,同样在ffmpeg 4.13下。Windows,Android,iOS 只有IOS下可以对视频进行geq,所以其他平台只能先转换成图片序列,然后再做geq

//此处经过测试,同样在ffmpeg 4.13下。Windows,Android,iOS 只有IOS下可以对视频进行geq
ffmpeg -i a2.mp4 -i a3.mp4 -filter_complex [0:v]geq=a='122':lum='lum(X,Y)':cb='cb(X,Y)':cr='cr(X,Y)'[topV];[1:v][topV]overlay=(W-w)/2:(H-h)/2 -ss 0 -t 5 -y overlay2.mp4

水印的移动:

这里需要用到时间参数。
比如:overlay=0+t*20:0
这里在x坐标上加上了+t*10,于是水印就会慢慢向右边移动。

特定时间显示水印:

这次不仅要用到时间参数,还要用上条件语句。

overlay=x='if(gte(t,2),10,NAN)':(main_h-overlay_h)/2

if条件语句的基本结构就是

if(条件,条件为true时的值,条件为false时的值)

再来看看计算表达式。
这里用到了表达式gte(x,y)。如果x大于等于y则表达式的值为1,反之为0。

所以if(gte(t,2),10,NAN)的意思就是,当时间大于等于2秒时,水印x位置为10,反之不显示水印。(或者你也可以用lte来判断“小于或等于”)

要了解所有表达式的话,可以去啃一下ffmpeg官方文档的Expression Evaluation部分。