【世界新要闻】新起点!大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本
我们很高兴向大家宣布,2023年4月14日,Taier 正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来,收到了很多开发者和行业用户的积极评价,在诸多生产环境中已得到充分应用。Taier 1.4版本正是吸收了各类实践经验及大家的建议,进行了此次迭代优化。
(相关资料图)
本次更新不仅包含了性能优化和稳定性的提升,还新增了各类任务类型、完善大量任务功能,优化使用场景,持续增强开源产品化技术能力和应用能力。
Taier 是一款好用又强大的大数据分布式可视化的 DAG 任务调度系统,旨在降低 ETL 开发成本、提高大数据平台稳定性。它让大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
截至目前(2023 年 4 月 17 日),Taier 在 GitHub 的 Star 数已经突破 1.1 k,并拥有37名社区贡献者,我们在此对所有参与到 Taier 项目及社区建设的朋友们表达由衷的感谢。
目前新版本已在 Github 与 Gitee 上线,欢迎大家前往体验。
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev_0/taier
社区官网:
https://dtstack.github.io/Taier/
Taier 1.4 版本更新亮点
新增任务类型
· 新增 DataX 组件,在无 Hadoop 环境的情况下,Taier 可以通过执行 DataX 的任务来实现异构数据源之间高速稳定的数据同步的能力,增强 Taier 在单机模式下的基础功能。
· 新增 Greenplum、GaussDB、MySQL、Postgresql、Sqlserver、TiDB、Vertica、Maxcompute 等任务类型,完善 Taier 相关 SQL 任务类型。
· 新增 Hadoop MR 任务类型,可以通过自行编写 Map/Reduce 的代码,来执行对应的数据集的处理。
完善任务功能
· Script 组件新增 Standalone 模式, 支持 Python、Shell 任务本地执行,移除脚本任务对 Hadoop 环境的强依赖。
· 数据同步任务支持 Hive3 的数据源向导模式配置。
· HiveSQL、Spark SQL 的临时查询表支持定时清理。
优化使用场景
· 兼容 Taier 在 Window 环境下部署运行的环境问题。
· 优化 Taier 部分元数据表结构信息、完善表结构备注信息。
· 优化控制台组件配置参数信息,移除环境相关参数信息,Spark 组件支持自动上传 SqlProxy 包,减少组件配置依赖。
接下来
Taier 1.4 版本的发布是又一个全新的开始,开发团队不会停下脚步,未来将根据用户反馈加速迭代持续优化,完善 Taier 的功能和文档,满足用户更多场景的使用,推进国内开源生态的发展。
Taier 此前的成绩离不开每一位参与者的贡献与支持,踏上这个新的起点,Taier 的未来也仍需大家共同努力,让 Taier 朝着好用又强大的 DAG 任务调度系统的目标继续前进。《数据治理行业实践白皮书》下载地址:https://fs80.cn/380a4b
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack
相关文章
【世界新要闻】新起点!大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本
我们很高兴向大家宣布,2023年4月14日,Taier正式发布1 4版本。自2022年2月份Taier正式开源以来,收到了很多开发者和行业用户的积极评价,在诸
何超欣否认与何超莲不和:移花接木造谣的人真的很坏
搜狐娱乐讯4月19日,何超欣发文否认与何超莲不和,并表示网传视频截图是在22年3月被媒体突然问到时的回应,在4月18日何超莲婚礼时被有心人翻出
未依法取得危险化学品经营许可证从事危险化学品经营 青岛显德盛化工有限公司被处罚
近日,半岛网记者(80889458)注意到,青岛显德盛化工有限公司未依法取得危险化学品经营许可证从事危险化学品经营,被城阳区应急管理局处罚。
上海去年汽车产量突破三百万辆,未来三年将建两百家智能工厂
4月20日,“百场万企,共话智能”2023汽车产业高质量发展创新论坛在国家会展中心(上海)举行。上海市经信委供图4月20日,“百场万企,共话智
李稻葵建议给国民发5000亿消费券,中央财政拿2000亿的钱,却可以办拉动1万亿消费的大事
金融界4月20日消息清华大学中国经济思想与实践研究院院长李稻葵今日表示,当下问题核心在于短期内老百姓(行情603883,诊股)消费不足。如何恢复
每日简讯:新能源进入下半场,极氪还有哪些牌?
在没降价之前,极氪001的售价区间为28 1万-36万元,与小鹏P7、蔚来ET5有重合,这是吉利在燃油车时代很难企及到的价格区间。极氪001赢得了部分
今日看点:上海自驾到泰国多少公里(上海到泰国有多远)
1 上海到泰国有多远时差就先不要算了,一般飞过去就是3个半小时到4个小时。每天浦东发的航班很多。07:30TG663泰国国际航空公司浦东(T2)09:00FM
环球关注:人造石消泡剂,在建材中发挥了怎样的作用?
由于天然石材的加工成本高,现代建筑装饰也常常会采用具有重量轻、强度高、耐腐蚀污染、生产工艺简单及施工方便的人造石来取代它。按照原料不
正裕工业(603089)4月20日主力资金净卖出435.65万元
截至2023年4月20日收盘,正裕工业(603089)报收于8 84元,下跌3 28%,换手率1 92%,成交量4 28万手,成交额3805 78万元。
世界热推荐:经济学家称中国经济增长将使东盟国家受益
原标题:东盟与中日韩宏观经济研究办公室经济学家认为中国第一季度经济复苏是快速增长的开端中国经济增长将使东盟国家受益国际在线报道(记者
天天要闻:“等你,在桥头”:湖南工业大学东莞合作开启新篇章
4月2日下午,东莞市桥头镇镇政府会议室气氛热烈,这里正在举行湖南工业大学和桥头镇“镇校合作”洽谈暨签约仪式。湖南工业大学党委书记刘望,
精选!《亲爱的》原型最后一位孩子将找到?警方已发布协查通知
4月19日,有多位网友发布视频称,收到一份关于协助查找疑似被拐儿童的通知,寻找对象为杜小华的儿子杜后琪。19日,杜小华告诉记者,当地有不少
当前讯息:安徽技能人才总量达665.6万 "技工强省"更有底气
4月15日,一则喜讯从阜阳市传出:2022年全国行业职业技能竞赛——全国服务型制造应用技术技能大赛决赛在阜阳闭幕,安徽省
环球观点:新能源+SUV=流量密码?盘点上海车展上亮相的新势力纯电SUV
2023上海车展作为今年全球第一个A级车展,在2023年4月18日已然拉开帷幕,今年上海车展以“拥抱汽车行业新时代”为主
2023第31届深圳礼品展:英菲克率领鼠标行业新“颜值”
展会吸引了来自20多个国家和地区的4500多家供应商和8000多个知名品牌,展出了各种高新科技产品、创新发明和生产技术。在这当中,英菲克作为鼠标
15款新能源车首发,长城汽车超级混动智能新能源要“霸占”上海车展?
从国内汽车市场的趋势来看,如果现在买车,混动车型绝对是排在传统燃油车前面更好的选择。但是在市场上,混动技术还属于发展的萌芽期,消费
2299 元起售 一加 Ace 2V 正式发布 将旗舰体验普及到底
2023 年 3 月 7 日,一加正式发布 Ace 系列新品性能赢家一加 Ace 2V,它搭载旗舰处理器天玑 9000 5G 移动平台,至高支持 16GB
一加Ace 2V 定档3月7日 将旗舰体验普及进行到底
2 月 28 日,一加正式官宣 Ace 系列新机一加 Ace 2V 将于 3 月 7 日发布。一加Ace 2V定位「性能赢家」,作为一加今年的第三款
首销登顶!一加 Ace 2 斩获2022-2023安卓手机首销日销量冠军
2月14日,一加中国区总裁李杰公布了一加Ace2首销成绩。一加 Ace 2 在京东天猫双平台首销日销量,超友商A+友商B日销量2倍,达到友商A的26
膜法世家携手江南大学云南溯源,用中国成分塑造品牌差异性
日前,膜法世家与江南大学科研团队前往云南大理、楚雄多地,进行了为期十日的联合寻溯活动,聚焦地域特色植物采集开发与研究,筛选优质护肤