15818558013

数据工坊 TDF

数据工坊(Tencent Data Factory)是源于腾讯云数智大数据套件的轻量云上大数据产品,为您提供基于SQL的大数据计算框架;适合于需要动态灵活获取大数据计算能力进行批量计算、日志处理或数据仓库应用的场景。
产品概述
优势 腾讯云数据工坊TDF 自行部署开源组件
无需运维

无需对节点进行管理,无需考虑组件升级或补丁安装,注册开通即可使用

安装实施过程复杂,组件连接调试工作繁杂

成本更低

免去高昂硬件成本,按需开通,按使用时长计费

需承担硬件采购部署成本以及折旧费用,无法做到按需使用

操作直观

自带图形化工作流编辑器,拖拽式构建工作流,无需任何代码开发

使用第三方开源任务和工作流管理器,需手动安装维护

数据同步

工作流支持数据同步任务,直接对接已有数据源,完成数据入库工作

使用第三方开源工具,需手动安装维护

弹性扩容

可根据实际计算耗费增加或减少计算引擎,弹性扩缩容,灵活应对业务变化

需根据业务高峰用量预留资源,容易造成资源闲置浪费

产品功能
  • 全托管服务
  • 图形化编辑
  • 多种数据导入导出
  • 其他工具整合
  • 云化服务注册即用,避免复杂部署安装过程;您可以关注于计算和数据分析本身,而无需管理节点、集群或维护软件组件。我们提供任务和工作流运行状态全景视图,通过自定义告警,帮助您对异常和运行结果了然于胸。通过新增计算引擎功能,您还可以在数分钟内获得所需的额外计算能力,轻松响应动态计算需求。系统支持多种用户角色和权限设置,对数据以及任务提供细粒度权限管控,保障您的业务安全。依托腾讯云多租户隔离实践,不同用户之间数据以及计算资源严格相互独立。

  • 您可使用熟悉的SQL对数据进行处理,无需考虑复杂代码编写过程。并可结合实际应用要求提供工程—工作流—任务层次化设置,通过拖拽编辑任务和工作流。TDF支持单次或周期性调度,无论您是需要立刻使用,还是按照一定频次计算,TDF均可满足灵活业务需求。

  • TDF内置支持腾讯云数据库CDB、对象存储服务COS等数据库和存储组件,无缝导入导出。您无需考虑复杂的数据迁移和对接过程,直接在编辑界面增加数据导入节点,并根据预先配置模板填写数据库等账号信息,即可快速完成数据导入或导出工作。

  • TDF内置数据血缘工具,可帮助您管理TDF表项,分析数据关联,并定义数据规范。
    内置的数据交互功能,可为您提供便捷的数据交互查询服务。
    同时我们还可提供腾讯云BI工具,您可以将计算结果直接对接可视化BI,交互式直观报表即刻可得,轻松完成数据接入—数据处理—数据展示的全流程服务。

产品架构
应用场景
  • Web应用日志分析
  • 游戏用户数据分析
  • PB级数据仓库应用
  • 无论是PC端还是移动端网页浏览,都会产生大量的日志信息;这些日志可以为界面交互设计改进和业务逻辑优化提供重要的信息。使用TDF可以为大规模日志数据处理提供强大灵活的引擎,并做到按需开通,计算完成后,即刻释放计算资源,满足海量日志计算对灵活性的要求。

    • 1数据接入:将最终用户访问记录从CDN节点以及Web应用服务器以文件形式存放到COS节点;
    • 2数据处理:将COS节点上的日志文件导入TDF中,并进行查询分析;
    • 3数据展示:TDF处理结果可周期性存放至CDB,并借助BI组件进行可视化分析。
  • 从千万级用户数据中往往可以提取出宝贵信息以指导业务决策,包括游戏数值设定、转化率优化方案等等。TDF可以为游戏开发商提供HIVE等成熟技术框架用于用户数据分析服务,实现海量用户数据分析。

    • 1数据接入:最终用户在访问业务服务器过程中,产生大量的行为数据和自身属性数据,这些数据由各业务服务器产生并收集;
    • 2数据处理:原始数据可存放在CDB数据库,随后周期性提交给TDF,进行数据分析;
    • 3数据展示:TDF处理结果导出至CDB,并由BI组件进行可视化分析;业务决策者可由此分析判断进行决策。
  • 传统OLTP数据库在超大规模数据分析上往往捉襟见肘,TDF可以为用户提供高达P级容量的强大数据仓库查询和分析能力,帮助用户以极低成本实现海量数据OLAP处理过程。

    • 1数据接入:CDB数据库可直接运行OLTP业务,产生的数据将作为原始数据待分析;
    • 2数据处理:数据库管理员可以直接通过TDF管理控制台提交OLAP数据仓库应用作业,作业将被TDF调度并计算;
    • 3数据展示:TDF计算结果可被导出至CDB存放,并由BI组件进行可视化分析;业务决策者可由此分析判断进行决策。
腾讯云服务器

为企业提供:云服务器/视频/游戏/微信开发/软件/网站/APP…云解决方案

  • QQ群咨询:377986805 咨询电话:15818558013
  • 技术支持:0755-33940501-808 17603077568
  • 产品咨询:0755-33940501-803 15818558013
  • 华北:
  • 华东:
  • 华南:

咨询电话:15818558013

15818558013