v1.10.4
- 修复了在使用delimit时,导致部分文件没有迁移
v1.10.1
- 修复在error时worker会panic的错误
v1.10.0
- 新增告警系统,用户可以在web界面上配置告警
v1.9.1
- 修复了fetch任务回调请求没有带Content-Type: application/json的错误
v1.9.0
- 针对body长度不正确的http请求会进行重试
- 增加节点错误率监控,以及实时传输速度显示
- 增加了节点掉线提示,现在掉线的节点会在web界面上标红
v1.8.0
- 修复了s3类型endpoint无法使用https的问题
- 增加了endpoint的请求超时配置
v1.7.0
- 修复了前缀自动发现式列取时,校验阶段仅校验顶层前缀的bug
- 在不勾选前缀自动发现时,会同步源端的空目录到目的端
- 支持了七牛专有云的endpoint
v1.6.1
- 修复了在专有云上无法创建endpoint的bug
- 修复了使用前缀自动发现功能时可能会卡住的bug
- 修复了url列表模式的endpoint可能无法创建的bug
v1.6.0
- 优化了数据的统计方式
- 修复了在使用s3接口拉取列表时,返回结果中nextmarker为空导致的panic
- 修复了重试时由于分段上传请求已经被取消而导致的上传id失效
- 修复了一个list时始终使用同一个marker的bug
- 新增了如果启动时不设置用户名密码,可以在首次登录界面时设置用户名密码的功能
v1.5.0
- 新增fetch任务模式,可以通过向server的/fetch路径下发送POST请求来增量同步文件
- 现在可以在启动时指定—sentinel-addr参数的方式,让节点使用哨兵模式连接pika数据库
- 支持了在使用aws,us3,oss,七牛以及url列表类型的endpoint时的https下载以及拉列表功能,可以在创建endpoint时进行配置
- 支持了在使用aws,us3,oss,七牛类型的endpoint拉列表时,自动发现新公共前缀的功能,在这个模式下,拉列表会针对各个前缀并发列取
- 支持了在使用us3类型的endpoint时使用prefix-file-list接口进行拉列表,该功能通常用在专有云环境
- 支持了根据初始化分片上传任务时获取的返回结果来选择分片上传的分片大小的功能。
- 现在源端404的任务同样会被认为是失败
- 现在worker在丢失掉master心跳后并不会立刻退出,而是会以指数退避的策略放缓心跳,最大心跳间隔为32秒一次,如果重新捕获到主节点心跳,会恢复心跳间隔
- 现在worker会正确的abort掉无法完成的分片上传任务
- 现在worker在下载文件时遇到404,503,500, 504状态码,会以指数退避的形式重试5次
- 更改了分配任务给worker的流程,现在worker获取的任务可以在worker宕机后快速恢复
- 优化web界面,目前可以在任务列取和审计阶段看到文件列表操作的进度
- 现在可以在创建任务时,使用正则表达式过滤源端对象键,但是此对象键不包括配置在任务中的桶名和前缀
v1.4.0
- 新增同步删除功能,目前可以在创建任务时勾选此选项,将源端不存在,而目的端存在的文件删除
- 优化web界面,将同步,删除,以及正在执行的指标分隔显示
v1.3.1
- 忽略迁移中源端不存在的文件
- 优化URL列表拉取源列表文件
- 修复 不覆盖选项导致进程panic
v1.3.0
- 多DB优化列取方式
- 优化local源列取
- 优化http源列取
- 修复oss FileGroup类型迁移失败
- 修复空文件迁移失败
- 非定时任务支持校验新文件
v1.2.0
- 定时任务取消立即启动
- 增加MD5校验支持,创建任务指定
- endpoint支持prefix校验,针对指定prefix的token
- URL列表迁移,支持跳过404链接
- 任务分发优化,迁移速度提升
v1.1.2
- 修复 NAS,URL 列表类型 endpoint 无法创建
- 修复 uarchive 类型迁移,mime type 校验失败
v1.1.1
- 修复任务阻塞问题
- 修复任务无法正常结束
- 启动脚本校验预装命令
- 前端支持必填项校验
v1.1.0
- 支持迁移源管理
- 支持定期任务
- 支持失败文件导出
- 支持文件覆盖选项
- 支持限速,QPS
v1.0.0
- 支持迁移源:s3,oss,qiniu,youpai,US3,NAS,URL列表。
- 支持 web 管理,通过 web 管理迁移任务,迁移节点。