【Weekly】2020.03.08-03.21

首页版块访问AI主站注册发帖

三寸九州发布于2021-04 浏览:2723 回复:1

【Weekly】2020.03.08-03.21

快速回复

观众朋友们：

早上好！

今天是2021年03月22日星期一，农历二月初十。欢迎收看【Doris近日要闻】~
本次为您带来的是2021年03月08日～2021年03月21日的双周总结。

01 统计数据
共有18位作者提交了43个Commit。感谢以下作者的贡献：

Zhengguo Yang, Mingyu Chen, stdpain, HappenLee, caiconghui, Yingchun Lai, Cheng Pan, zhangboya1, xxiao2018, zhuixun, xy720, wangbo, shiyi23, Xiang Wei, Ting Sun, EmmyMiao87, Amos Bird, 924060929

最近2周，共修改新增代码行5232，删除代码行1225。

▼

02 主要进展

2.1 新增功能

https://github.com/apache/incubator-doris/pull/5462

https://github.com/apache/incubator-doris/pull/5524

支持导入文本格式文件时，指定多字节行列分隔符或不可见分隔符
https://github.com/apache/incubator-doris/pull/5463

支持通过StreamLoad导入压缩格式文件。
https://github.com/apache/incubator-doris/pull/5445

支持Export导出功能指定where过滤条件。支持导出文件使用多字节行列分隔符。支持导出到本地文件。
https://github.com/apache/incubator-doris/pull/5489

支持通过outfile语句导出结果集到本地磁盘，并支持导出后写入导出成功的标记文件。
https://github.com/apache/incubator-doris/pull/5475

支持在命令行使用可视化的树形结构展示查询计划和查询Profile。

2.2 Bug修复

https://github.com/apache/incubator-doris/pull/5473

修复执行Backup作业可能导致数据丢失的问题。
https://github.com/apache/incubator-doris/pull/5347

修复在SQL中包含limit时，查询统计结果有误的问题。
https://github.com/apache/incubator-doris/pull/5484

修复创建逻辑视图的语句中，字符串常量包含单引号时解析错误
https://github.com/apache/incubator-doris/pull/5478

修复在检查表数据是否健康的逻辑中，一些线程安全的问题。
https://github.com/apache/incubator-doris/pull/5425

修复HLL列类型在某些场景下导致BE宕机的问题。
https://github.com/apache/incubator-doris/pull/5391

修复某些情况下，回放colocation group元数据导致空指针异常的问题。
https://github.com/apache/incubator-doris/pull/5504

优化文件写入时的内存使用，避免可能的大量占用内存的情况。
https://github.com/apache/incubator-doris/pull/5491

修复Schema Change逻辑中可能的内存泄露问题。
https://github.com/apache/incubator-doris/pull/5527

修复某些情况下，已过期的rowset文件不会被清理的问题。
https://github.com/apache/incubator-doris/pull/5540

修复部分情况下，增量clone一直失败的问题。

2.3 功能改进

https://github.com/apache/incubator-doris/pull/5459

扩展了Bucket Shuffle Join的匹配场景，支持在更多查询场景中规划Bucket Shuffle Join。
https://github.com/apache/incubator-doris/pull/5455

优化部分MemTracker的命名，增强可读性。
https://github.com/apache/incubator-doris/pull/5468

支持ExchangeNode节点的多线程归并算法，提升排序查询的性能。
https://github.com/apache/incubator-doris/pull/5498

优化BE端执行磁盘垃圾清理的逻辑，按磁盘使用率进行清理。
https://github.com/apache/incubator-doris/pull/5508

引入ccache构建工具加速BE的增量编译速度。
https://github.com/apache/incubator-doris/pull/5513

支持在查询语句中的SET_VAR注释中设置多个会话变量。
https://github.com/apache/incubator-doris/pull/5538

优化ODBC的报错信息，更方便定位具体错误。
https://github.com/apache/incubator-doris/pull/5470

优化ExchangeNode在本地节点交换数据的逻辑，减少不必要的网络传输和序列化、反序列化操作。
https://github.com/apache/incubator-doris/pull/5514

优化HashJoinNode的内存使用和内存限制逻辑。
https://github.com/apache/incubator-doris/pull/5522

支持在show proc ‘/broker’语句中显示broker节点的hostname。

2.4 其他

https://github.com/apache/incubator-doris/pull/5380

增加GCC 10的Docker编译镜像。

观众朋友们，本期的Doris一周要闻节目就播送完了。
感谢您的收看，我们下周再见！

欢迎扫码关注：

Apache Doris(incubating)官方公众号