分类 默认分类 下的文章

tensorflow的新版本的安装是不分CPU和GPU版本的,直接 pip install tensorflow 就行了

重要的是cuda和cudnn的安装和配置,搞了很久就是用不了GPU

一、NVIDIA 官网 下载安装:CUDA toolkit

https://developer.nvidia.com/cuda-toolkit 下载 11.7.1 版本
安装时,如果已经安装过其它NVIDIA驱动也可以直接再安装

安装时一定要选择【自定义安装】,选项选择:

  1. 可以去掉 nvidia geforce experience .. (这个程序没啥用)
  2. 去掉cuda->visual studio interation (如果没有安装visual studio的IDE的话,根本没用,一般也不用这个IDE所以我选择不要)
  3. diriver components->下面的驱动的话,看一下当前版本和这个程序自带的新版本,自带的版本高于已安装的版本就勾上,否则就去掉吧(如果已经安装过了nvidia驱动应该能看到已有版本号)
    576ED9F1-56D7-4962-A1A9-E58BBA21A696.png
    811D38A8-1D9B-46c5-846C-8E2C43BFB406.png
    F4E8FF23-97F0-40d5-B960-9A82FEB743C2.png

这个安装后一般会需要重启才能生效的,选择等一会把cudnn一并配置好后重启即可。

二、NVIDIA 官网 下载安装:CUDNN (这个程序是需要登录后,加入到开发者身份才能下载,加入也简单,注册账号,填写一个个人资料就可以顺利下载到)

这里要注意cudnn需要与CUDA toolkit的版本兼容才能使用,不然以后在运行tf程序的时候,可能会出现意外终止问题(看到 Loaded cuDNN version 之后就意外退出了,没有任何报错信息)
下载时,一定要看看下载到兼容版本的
https://developer.nvidia.com/rdp/cudnn-archive

这个下载回来后不需要安装,直接解压后就可使用,我的方法是解压后,把文件夹名字改成【cudnn】然后放到CUDA的安装目录里

三、重点:环境变量的配置

需要四个环境变量:

# CUDA toolkit安装后应该会自动添加好以下两个环境变量
$CUDA\bin
$CUDA\libnvvp
# 以下两条是需要手动添加的,添加到上移置顶
$CUDA\extras\CUPTI\lib64
$CUDA\cudnn\bin

61414EDB-3398-4a72-A44D-98E6F04047B2.png

重启电脑让显卡驱动生效。

验证是否有可用的GPU

import tensorflow as tf
tf.test.is_gpu_available()  #True or False  ,  TF1.x 和 TF 2.x中都适用
tf.config.list_physical_devices('GPU')  #会得到一个可用的GPU的设备列表

参考文章:https://www.jianshu.com/p/b30f07055e2e

下面命令行的作用时,拼接两个视频,一个视频为17秒,一个视频为4秒,将其拼接为视频会议模式(即一个视频源始终存在,另一个视频源在10秒后接入,持续4秒后挂断)期间第二个视频源位置为黑屏

ffmpeg -y -i C:\Users\Li\Desktop\rtc-1000008.webm -i C:\Users\Li\Desktop\rtc-1000009.webm 
-filter_complex  
"color=color=Black:size=1280x480:d=17.625,format=pix_fmts=yuv420p[bg];
color=color=Black:size=640x480:d=17.625,format=pix_fmts=yuv420p[n0-0-bg];
movie='C\:/Users/Li/Desktop/rtc-1000008.webm':stream_index=0,scale=w='iw*min(640/iw,480/ih)':h='ih*min(640/iw,480/ih)'[n0-0-fg];
[n0-0-bg][n0-0-fg]overlay=x=(W-w)/2:y=(H-h)/2[n0-0];
[n0-0]concat=n=1:v=1:a=0[s-0-0];
color=color=Black:size=640x480:d=10.343,fifo[s-0-1-hd];
color=color=Black:size=640x480:d=4.279,format=pix_fmts=yuv420p[n1-0-bg];
movie='C\:/Users/Li/Desktop/rtc-1000009.webm':stream_index=0,scale=w='iw*min(640/iw,480/ih)':h='ih*min(640/iw,480/ih)'[n1-0-fg];
[n1-0-bg][n1-0-fg]overlay=x=(W-w)/2:y=(H-h)/2[n1-0];
[n1-0]concat=n=1:v=1:a=0[s-0-1-bd];[s-0-1-hd][s-0-1-bd]concat,fifo[s-0-1];
[bg][s-0-0]overlay=x='0+(640-w)/2':y='0+(480-h)/2':eof_action=pass[bg+s-0-0];
[bg+s-0-0][s-0-1]overlay=x='640+(640-w)/2':y='0+(480-h)/2':eof_action=pass" 
-filter_complex 
"aevalsrc=0|0:d=0.0[a0b];[0:1]aresample=48000:async=1,afifo[a0-s0];[a0-s0]anull[a0m];aevalsrc=0|0:d=0.0[a0e];[a0b][a0m][a0e]concat=n=3:v=0:a=1,afifo[a0];aevalsrc=0|0:d=10.343[a1b];[1:1]aresample=48000:async=1,afifo[a1-s0];[a1-s0]anull[a1m];aevalsrc=0|0:d=3.3[a1e];[a1b][a1m][a1e]concat=n=3:v=0:a=1,afifo[a1];[a0][a1]amerge,pan=stereo|c0<c0+c1|c1<c2+c3,dynaudnorm=n=0:g=15:r=1.0"
 -c:v libx264 -preset superfast -crf 28 -r 15 -movflags +faststart -c:a aac C:\Users\Li\Desktop\20190624180636-000000004.mp4

每一个 -i [input]都作为一个输入流,在filter_-i image1.png//第一个水印图片中为 [0:v] [1:v] [2:v]…
对于 -i 与 0:v… 的解释 通过下面加水印的例子可以清楚:

ffmpeg -i input.mp4 -i image1.png -i image2.png -filter_complex [1:v]scale=100:100[img1];[2:v]scale=1280:720[img2];[0:v][img1]overlay=(main_w-overlay_w)/2:(main_h-overlay_h)/2[bkg];[bkg][img2]overlay=0:0 -y output.mp4

我们把他拆开,其实他由以下部分组成:

//1.起始

ffmpeg

//2.输入

-i input.mp4//这个是原始文件
-i image1.png//第一个水印图片
-i image2.png//第二个水印图片

//3.滤镜

-filter_complex [1:v]scale=100:100[img1];[2:v]scale=1280:720[img2];0:voverlay=(main_w-overlay_w)/2:(main_h-overlay_h)/2[bkg];bkgoverlay=0:0

//4.输出

-y output.mp4//输出文件

1、2、4部分的含义一目了然。3里头的scale和overlay也是字面的意思,不难理解。

然而,-filter_complex滤镜的参数结构就不是那么好理解了,比如说那一坨[]里头的东西是什么?

一个个解释

[1:v]这个里头两个参数,1表示的是操作对象的编号。在本例中0就是原始视频文件input.mp4,1就是image1.png,2就是image2.png,3就是output.mp4。而另一个参数v表示操作对象里的视频信息。

[img1]是这个操作过滤器的名字。(当然名字可以随便起)

所以这头一句[1:v]scale=100:100[img1]的意思就是对图片imagei.png进行调节尺寸的操作,并将这个操作的结果命名为img1。

后面的[2:v]和[img2]也是一个意思。

我们继续,overlay前面0:v凑一起是什么意思呢。

0自然就是指的原始视频,这句的意思就是将[img1]叠加到0对象的视频上。本例中就是把image1.png叠加到input.mp4上。

这里需要注意的就是顺序:后一个对象叠加到前一个上,后一个对象在上层。

如果写成img1,那相对本例其实就是把视频叠加到图片imge1.png上。这样的话一般来说由于视频通常是全屏,等于用视频覆盖了图片,水印完全看不到了。

好,我们又把这个操作的结果命名为[bkg],那么接下来bkg的意思就很明了了。就是把image2.png再叠加上去,image2.png是在最上层的,如果位置重合的话,他会遮盖 image1.png的水印。

NOTE: 在对封装格式的视频处理后,一定指明音频怎么处理,否则ffmpeg报错(未测出)

Cannot find a matching stream for unlabeled input pad 0 on filter
Parsed_drawtext_4

下面时正确的操作:

ffmpeg -i input.mp4 -filter_complex “movie=input.mp4:stream_index=0,scale=1280:480[ss];drawtext=fontfile=simhei.ttf:x=650:y=10:fontsize=24:text=‘easemob’:fontcolor=yellow:enable=‘between(t,10.343,14.622)’,scale=1280:480[a];[a]drawtext=fontfile=simhei.ttf:x=10:y=10:fontsize=24:text=‘easemob’:fontcolor=yellow,scale=1280:480[b];[ss][b]overlay=0:0” -c:v libx264 -preset superfast -crf 28 -r 15 -movflags +faststart -c:a aac -y C:\Users\Li\Desktop\20190624180636-000000005.mp4

使用filter_complex时,一定要保证多于两个视频或者音频源。否则不建议使用

filter_complex 部分参数说明:

  • color 是一种幕布,可以作为一个视频源,在文章一开始给的例子中,就作为一个视频源使用,它可以通过 d 参数设定它的持续时间。
  • movie 导入视频源,可以视频视频或者图片作为视频源。
  • overlay 叠加视频,可以指定叠加视频的相对位置
  • concat 拼接视频,可以将视频进行拼接
  • fifo 队列,用于排列视频,与concat 一同使用
  • scale=100:100 缩放
  • colorchannelmixer

为视频设置透明度的几种方案

format=yuva444p,colorchannelmixer=aa=0.5

ffmpeg -i a2.mp4 -i a3.mp4 -filter_complex [0:v]format=yuva444p,colorchannelmixer=aa=0.5[valpha];[1:v][valpha]overlay=(W-w)/2:(H-h)/2 -ss 0 -t 5  -y overlay4.mp4
# 将两个视频完全叠加在一起,上一层的视频透明度全透明(看不见)
ffmpeg -i a2.mp4 -i a3.mp4 -filter_complex "[1:v]format=yuva444p,colorchannelmixer=aa=0[hid];[0:v][hid]overlay=0:0" -y overlay4.mp4

对图片有效,经过测试

ffmpeg -i in4.png -i a3.mp4 -filter_complex [0:v]geq=a='122':lum='lum(X,Y)':cb='cb(X,Y)':cr='cr(X,Y)'[topV];[1:v][topV]overlay=(W-w)/2:(H-h)/2 -ss 0 -t 5 -y overlay3.mp4

同方案二,只是先将视频转换成一张张帧序列然后再使用方案二

此处经过测试,同样在ffmpeg 4.13下。Windows,Android,iOS 只有IOS下可以对视频进行geq,所以其他平台只能先转换成图片序列,然后再做geq

//此处经过测试,同样在ffmpeg 4.13下。Windows,Android,iOS 只有IOS下可以对视频进行geq
ffmpeg -i a2.mp4 -i a3.mp4 -filter_complex [0:v]geq=a='122':lum='lum(X,Y)':cb='cb(X,Y)':cr='cr(X,Y)'[topV];[1:v][topV]overlay=(W-w)/2:(H-h)/2 -ss 0 -t 5 -y overlay2.mp4

水印的移动:

这里需要用到时间参数。
比如:overlay=0+t*20:0
这里在x坐标上加上了+t*10,于是水印就会慢慢向右边移动。

特定时间显示水印:

这次不仅要用到时间参数,还要用上条件语句。

overlay=x='if(gte(t,2),10,NAN)':(main_h-overlay_h)/2

if条件语句的基本结构就是

if(条件,条件为true时的值,条件为false时的值)

再来看看计算表达式。
这里用到了表达式gte(x,y)。如果x大于等于y则表达式的值为1,反之为0。

所以if(gte(t,2),10,NAN)的意思就是,当时间大于等于2秒时,水印x位置为10,反之不显示水印。(或者你也可以用lte来判断“小于或等于”)

要了解所有表达式的话,可以去啃一下ffmpeg官方文档的Expression Evaluation部分。

TensorFlow 是一个端到端开源机器学习平台。它拥有一个全面而灵活的生态系统,其中包含各种工具、库和社区资源,可助力研究人员推动先进机器学习技术的发展,并使开发者能够轻松地构建和部署由机器学习提供支持的应用。

官网网站:https://www.tensorflow.org/ (外网才能访问)

相关 keras 介绍: https://keras.io/zh/
TensorFlow 2.0中的tf.keras和Keras有何区别?为什么以后一定要用tf.keras?
https://www.jiqizhixin.com/articles/2019-12-09-10

参考学习网站:https://www.tensorflownews.com/
tensorFlow官网出品可视化工具:Tensorboard 使用参考文章:https://zhuanlan.zhihu.com/p/36946874

一位培训机构讲师的机器学习教程, 我看的第一套视频教程, 理论+ sklearn + 图表可视化 基础知识了解
https://www.bilibili.com/video/BV1Eq4y1g7e1?p=1

这个教程是讲得比较细的一个初学者教程,推荐学习,然后也是TF1.0版讲解,但里面的内容、基础理论知识值得去听:
https://www.bilibili.com/video/BV1ye4y1Y75L?p=1

莫烦老师的TF教程,是TF1.0版的,和2.0的方法定义差别很大,主要是听一下TF的用法和一些相关理论
https://www.bilibili.com/video/BV1Lx411j7ws?p=1

matplotlib 的 mpl_toolkits.mplot3d 可画3D的图表, 安装了 matplotlib 就可以使用了

from mpl_toolkits.mplot3d.axes3d import Axes3D

参考文档:
https://matplotlib.org/1.3.0/mpl_toolkits/mplot3d/index.html#toolkit-mplot3d-index
https://matplotlib.org/1.3.0/mpl_toolkits/mplot3d/api.html#axes3d

本文参考自:https://www.jianshu.com/p/94a1759ceb34
官方参考文章:https://trac.ffmpeg.org/wiki/CompilationGuide/Centos

原文中有仓库不能访问,替换成了国内可用的仓库地址

ffmpeg 4.1 编译安装后,可以得到ffmpeg,ffprobe,ffplay。ffmpeg 4.0 开始删掉了ffserver。
FFmpeg 3.4 编译安装后,可以得到ffmpeg,ffprobe,ffplay,ffserver

如果你已经安装了最新版gcc,gcc-c++,cmake,make的话,请忽略安装这些程序!

yum install autoconf automake bzip2 cmake freetype-devel gcc gcc-c++ git libtool make mercurial pkgconfig zlib-devel harfbuzz-devel
mkdir ~/ffmpeg_sources

升级开发工具

yum install centos-release-scl -y
yum install devtoolset-7-toolchain -y
scl enable devtoolset-7 bash

CMAKE,安装最新版本(非必须,但推荐)

cd ~/ffmpeg_sources
curl -O -L https://src.fedoraproject.org/lookaside/extras/cmake/cmake-3.13.2.tar.gz/sha512/da095d483326ed379bfc8fa54e95db3426149ab923479a757149a4aed5c90693c0244bc2c9550cf4b64385f5003ee2060fea1698d989ed13bd0198e718c40903/cmake-3.13.2.tar.gz
tar xzvf cmake-3.13.2.tar.gz
cd cmake-3.13.2
./bootstrap --prefix=/usr/local
make
make install

ln -s -f /usr/local/bin/ccmake /usr/bin/
ln -s -f /usr/local/bin/cmake /usr/bin/
ln -s -f /usr/local/bin/ctest /usr/bin/
ln -s -f /usr/local/bin/cpack /usr/bin/

文中有用到 mercurial (hg),如果你的环境python不是2.x版本,需要执行下面这步

mercurial (hg), 只支持python2.x版本,如果你的系统上安装了多个python版本,且前提条件是在命令行输入python2的时候,执行的是2.x版本的python

whereis hg 查看hg位置
vi /usr/bin/hg 进入编辑模式
把第一行代码改成如下: #!/usr/bin/python2
保存退出
# hg --version

Mercurial Distributed SCM (version 4.0-rc)
(see https://mercurial-scm.org for more information)

Copyright (C) 2005-2016 Matt Mackall and others
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

ffplay使用sdl作为窗体,需要先安装SDL2,如果不需要ffplay可以跳过这个步骤!

yum install libXext-devel
cd ~/ffmpeg_sources
hg clone https://hg.libsdl.org/SDL SDL
cd SDL
mkdir build
cd build
../configure
make && make install
ln -s /usr/local/lib/libSDL2.so /usr/lib64/libSDL2.so
strings /lib64/libSDL2.so | grep GLIBC_

Nasm

cd ~/ffmpeg_sources
curl -O -L https://www.nasm.us/pub/nasm/releasebuilds/2.14/nasm-2.14.tar.bz2
tar xjvf nasm-2.14.tar.bz2
cd nasm-2.14
./autogen.sh
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin"
make
make install

Yasm

cd ~/ffmpeg_sources
curl -O -L http://www.tortall.net/projects/yasm/releases/yasm-1.3.0.tar.gz
tar xzvf yasm-1.3.0.tar.gz
cd yasm-1.3.0
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin"
make
make install

libx264

cd ~/ffmpeg_sources
#git clone --depth 1 http://git.videolan.org/git/x264
git clone --depth 1 https://gitee.com/ibaoger/x264.git
cd x264
PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig" ./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin" --enable-static
make
make install

libx265

cd ~/ffmpeg_sources
#hg clone https://bitbucket.org/multicoreware/x265
git clone --depth 1 https://gitee.com/pengwukui/x265.git
cd ~/ffmpeg_sources/x265/build/linux
cmake -G "Unix Makefiles" -DCMAKE_INSTALL_PREFIX="$HOME/ffmpeg_build" -DENABLE_SHARED:bool=off ../../source
make
make install
cp ~/ffmpeg_build/bin/x265 ~/bin/

libfdk_aac

cd ~/ffmpeg_sources
git clone --depth 1 https://github.com/mstorsjo/fdk-aac
cd fdk-aac
autoreconf -fiv
./configure --prefix="$HOME/ffmpeg_build" --disable-shared
make
make install

libmp3lame

cd ~/ffmpeg_sources
curl -O -L http://downloads.sourceforge.net/project/lame/lame/3.100/lame-3.100.tar.gz
tar xzvf lame-3.100.tar.gz
cd lame-3.100
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin" --disable-shared --enable-nasm
make
make install

libopus

cd ~/ffmpeg_sources
curl -O -L https://archive.mozilla.org/pub/opus/opus-1.3.tar.gz
tar xzvf opus-1.3.tar.gz
cd opus-1.3
./configure --prefix="$HOME/ffmpeg_build" --disable-shared
make
make install

libogg

cd ~/ffmpeg_sources
curl -O -L http://downloads.xiph.org/releases/ogg/libogg-1.3.3.tar.gz
tar xzvf libogg-1.3.3.tar.gz
cd libogg-1.3.3
./configure --prefix="$HOME/ffmpeg_build" --disable-shared
make
make install

libvorbis

cd ~/ffmpeg_sources
curl -O -L http://downloads.xiph.org/releases/vorbis/libvorbis-1.3.6.tar.gz
tar xzvf libvorbis-1.3.6.tar.gz
cd libvorbis-1.3.6
./configure --prefix="$HOME/ffmpeg_build" --with-ogg="$HOME/ffmpeg_build" --disable-shared
make
make install

libvpx

cd ~/ffmpeg_sources
#git clone --depth 1 https://chromium.googlesource.com/webm/libvpx.git
git clone --depth 1 https://github.com/webmproject/libvpx
cd libvpx
./configure --prefix="$HOME/ffmpeg_build" --disable-examples --disable-unit-tests --enable-vp9-highbitdepth --as=yasm
make
make install

freetype2

cd ~/ffmpeg_sources
curl -O -L  https://github.com/aseprite/freetype2/archive/VER-2-6-3.tar.gz
tar xzvf VER-2-6-3.tar.gz
cd freetype2-VER-2-6-3
./autogen.sh
./configure --prefix="$HOME/ffmpeg_build" --disable-shared
make
make install
cp ~/ffmpeg_build/bin/freetype-config ~/bin/

FFmpeg

cd ~/ffmpeg_sources
#最新版本下载地址:https://ffmpeg.org/releases/ffmpeg-snapshot.tar.bz2
curl -O -L https://ffmpeg.org/releases/ffmpeg-4.1.tar.bz2
tar xjvf ffmpeg-4.1.tar.bz2
cd ffmpeg-4.1
PATH="$HOME/bin:$PATH" PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig" ./configure \
  --prefix="/usr" \
  --pkg-config-flags="--static" \
  --extra-cflags="-I$HOME/ffmpeg_build/include" \
  --extra-ldflags="-L$HOME/ffmpeg_build/lib" \
  --extra-libs=-lpthread \
  --extra-libs=-lm \
  --bindir="/usr/bin" \
  --enable-gpl \
  --enable-libfdk_aac \
  --enable-libfreetype \
  --enable-libmp3lame \
  --enable-libopus \
  --enable-libvorbis \
  --enable-libvpx \
  --enable-libx264 \
  --enable-libx265 \
  --enable-nonfree

make
make install
# ffmpeg -version 查看版本

ffmpeg version 4.1 Copyright (c) 2000-2018 the FFmpeg developers
built with gcc 4.8.5 (GCC) 20150623 (Red Hat 4.8.5-36)
configuration: --prefix=/root/ffmpeg_build --pkg-config-flags=--static --extra-cflags=-I/root/ffmpeg_build/include --extra-ldflags=-L/root/ffmpeg_build/lib --extra-libs=-lpthread --extra-libs=-lm --bindir=/root/bin --enable-gpl --enable-libfdk_aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-nonfree
libavutil      56. 22.100 / 56. 22.100
libavcodec     58. 35.100 / 58. 35.100
libavformat    58. 20.100 / 58. 20.100
libavdevice    58.  5.100 / 58.  5.100
libavfilter     7. 40.101 /  7. 40.101
libswscale      5.  3.100 /  5.  3.100
libswresample   3.  3.100 /  3.  3.100
libpostproc    55.  3.100 / 55.  3.100