首页 Paddle框架 帖子详情
Caffe可视化之VisualDL
收藏
快速回复
Paddle框架 文章深度学习模型训练 2522 0
Caffe可视化之VisualDL
收藏
快速回复
Paddle框架 文章深度学习模型训练 2522 0

Visual DL是由 PaddlePaddle 和 ECharts 合作推出的一款深度学习可视化工具,其能够可视化scalar、参数分布、模型结构、图像等。底层采用C++编写,上层SDK以python为主,也可以使用C++集成到其它平台。
如果你正在寻求深度学习任务设计的可视化工具,可以考虑Visual DL。类似于Tensorboard的在线可视化,支持更多的平台。VisualDL 兼容 ONNX, 通过与 python SDK的结合,VisualDL可以兼容包括 PaddlePaddle、 Pytorch、 MXNet 等在内的大部分主流DNN平台。而Tensorboard目前仅适用于Tensorflow、Pytorch、MXNet等。

本文介绍其最简单的scalar的用法, 用于展示训练测试的误差趋势。

安装

pip install --upgrade visualdl

 库文件core.so及demo等python文件被放在site-package目录下面。

可以不从源码编译,而直接使用pip下载的core.so, 但是需要使用protoc将storage.pb转成C++源码文件,因为在使用sdk.h时会include protobuf生成的头文件。protoc得到的protobuf头文件版本与VisualDL编译所使用的protobuf版本最好一致(VisualDL使用的cmake版本号定义在VisualDL/cmake/external/protobuf.cmake中,如果两个库中使用了不同的版本,在运行时会冲突)。

protoc storage.proto --cpp_out .

使用

Python 中记录 Scalar 示例:

import random
from visualdl import LogWriter
# 指定输出目录,同步周期
logdir = "./log"
logger = LogWriter(logdir, sync_cycle=30)

# 设置此次记录的模式标签: train/test等
with logger.mode("train"):
# 创建名为 'scalars/loss0' 的scalar组件
loss0 = logger.scalar("scalars/loss0")
# 模拟训练过程中的标量数据记录
for step in range(1000):
loss0.add_record(step, random.random())

运行之后会在logdir中生成日志文件,该日志目录中的文件可被VisualDL工具解析,用法与Tensorboard类似。

同功能的C++ SDK使用示例:

#include  
#include  
#include "visualdl/logic/sdk.h"
 namespace vs = visualdl; 
namespace cp = visualdl::components;
int main() {
 const std::string dir = "./log";
 vs::LogWriter logger(dir, 30);
 logger.SetMode("train"); 
auto tablet = logger.AddTablet("scalars/loss0"); 
cp::Scalar loss0(tablet); 
for (int step = 0; step < 1000; 
step++) { float v = (float) std::rand() / RAND_MAX; 
loss0.AddRecord(step, v); 
} 
return 0;
 }

caffe1-loss曲线

虽然caffe1的大势已去,但做一些遗留的项目代码研究还是要用的。如果上述的示例能够成功运行,那么在caffe1中记录loss scalar是很容易的。

可以使用caffe的python接口获取loss。
C++中调用VisualDL,如在solver.cpp中记录loss。编译时链接到VisualDL。示例代码在此 frcnn。
由于VisualDL静态链接了特定版本的protobuf,而caffe也需要protobuf,可以修改caffe的编译选项,取消对protobuf的动态链接。
在caffe1中还可以使用VisualDL的image功能,来可视化任何tensor,或模型生成的图片。通过使用VisualDL工具可以大大方便我们的可视化方式,不必再写额外的脚本独立地来做可视化。

查看board面板

visualDL --logdir
选项:

--host 绑定地址,如ipv6本地地址 ::
--port 绑定端口
--model_pb 指定ONNX可交换模型文件
得到的loss曲线如下:

原文: http://www.cnblogs.com/makefile/p/visualdl.html © 康行天下

0
收藏
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户