主题大数据工作(七篇)

实用范文会员上传下载docx

更新时间：2023-12-30 12:09:16 发布时间：24小时内

主题大数据工作一

1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;

3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;

4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码;

任职要求：

1、本科及以上计算机相关专业毕业;

2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括storm、sparkstreaming等;

3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验;

4、掌握常见数据流接入工具，包括flume、kafka等;

5、熟练掌握基本的linux操作系统和某种脚本语言编程(如shell等);

6、掌握一种或以上实时处理语言，如java、scala、python等，有scala经验者优先;

7、有实际大规模数据(tb级以上)处理经验优先;

主题大数据工作二

职责：

1、负责公司大数据/hadoop/hive/hbase/flink等离线实时数据平台运维保障;

2、负责内部大数据自动化运维以及数据化运营平台开发工作;

3、负责hadoop/hbase等系统的业务监控、持续交付、应急响应、容量规划等;

4、深入理解数据平台架构，发现并解决故障及性能瓶颈，打造一流的数据平台;

5、持续的创新和优化能力，提升产品整体质量，改善用户体验，控制系统成本。

6、善于表达、理解客户数据服务需求，具备数据需求转化落地能力。

任职要求：

1、大学本科及以上学历，计算机或者相关专业;

2、深入理解linux系统，运维体系结构，精于容量规划、性能优化;

3、具备一定的开发能力，精通一门以上脚本语言;(shell/perl/python等)，熟悉java等开发语言一种及以上优先;

4、具备很强的故障排查能力，有很好的技术敏感度和风险识别能力;

5、能够承受较大的工作压力，以结果和行动为准则，努力追求成功;

6、熟悉hadoop、hbase、hive、spark、tez等原理并具备管理，配置，运维经验;

7、熟悉分布式系统设计范型，有大规模系统设计和工程实现的了解者优先。

8、具有运营商流量数据加工处理经验者优先。

主题大数据工作三

大数据模式下的精准营销

于大部份营销者来说，网站再定向(onsite retargeting)是其中一个最重要的营销手段，所谓网站再定向的意思是对曾访问您网站的用户进行宣传，在他们浏览网络时向其展示广告。此手段之所以重要是因为在第一次接触中真正转化为购买的只占2%，而没有产生购买就离开网站的人群体高达98%。网站再定向的威力在于它能够帮助你吸引很多的潜在客户，由于这些用户之前已经访问了您的网站一次，这意味着他们确实对您的产品和服务感兴趣。当你不断向这些用户显示相关的广告，将能够吸引他们回访并完成购买。理论上，网站再定向技术听起来完美，但执行起来，却可能让很多广告主走入死胡同，因为它只能够覆盖到旧有的访客，而无法接触新访客。对于广告主来说，网站再定向是一把双刃刀，它虽然能带来绝佳的roi，却由于覆盖度不足，会在无形中扼杀销售机会。

其实无论是广告数据或购买行为数据，网络都能记录下来，而网络的实时记录特性，让它成为当下广告主实现定位营销的不二之选。随着技术不断革新，广告主精细化定位的需求也不断得到满足。在随后的篇幅中，我们会简单地对比几大定位技术，并通过电商案例分析来讨论如何让这些数据技术协同起来，促成客户从浏览广告到掏钱购买的转化，实现广告主的收益最大化。

网络营销的精细化定位潜力只有在大数据的支持下才能完全发挥出来。图中的数据金字塔划分出了数据的四个层级。最底层是广告表现数据，是关于广告位置和其表现的信息。具体而言，就是广告位的尺寸、在网页的位置、以往的点击率、可见曝光(viewable impreion)等指标。

再上一层就是受众分类数据。如今，市场上的数据提供商可以通过用户的线上和线下的行为，来收集到广告受众的兴趣、需求等数据。这些不会涉及个人真实身份的信息会被分析，并划分为不同的群組，例如性价比追求者、网购达人等。有了受众分类数据，广告主可以在互联网上按自己的需求和品牌的特性来投放。受众分类数据的针对性更强，也能带来比单纯依赖广告表现数据更好的点击率与转换率，因为它提供了消费者行为和偏好等宝贵信息。

第三层是搜索动机数据。搜索再定向是个用于发掘新客户的技术。它的出现让我们能够发掘出那些很可能会购物的用户，因为他们已经开始搜索与广告主产品相关的信息了。那些具有高商业价值的数据可以进一步被筛选出来，广告主可以将具有高购买意愿的人们再定向到自己的产品信息上来。

而位居数据金字塔顶端的是站内客户数据，这指的是用户在广告主网站上的用户行为数据，包括了用户浏览的页面，下载的信息，以及加入购物车的商品等数据。网站用户通常是那些已经了解过品牌并且对公司也熟悉的一群人。

对于广告主来说，金字塔四层的数据都独具价值。举例而言，广告表现数据是每个广告主都首先会关注的信息，因为这些信息在大多数广告管理平台和广告交易平台都能轻易获得的。同时，那些与用户需求和偏好相关的数据，能够助力广告主更好地实现精细化营销。因此，要想针对性地影响消费者购买路径的每个过程，我们就需要把这四层的数据分析整合，才能制定一个更全面的营销方案。

以下，我们将分享一个真实的案例，让广告主明白应当如何打通各层数据，制定覆盖消费者购买路径的精准定位的营销方案。

案例分享

背景：爱点击的客户，国内最知名的电子商务网站之一，希望能提高roi(投资回报率)和线上交易数量

挑战：客户已经使用了网站再定向技术来实现一个较好的roi，但是，从再站内定向所带动的交易数量开始有下降的趋势。

优化策略︰利用多重数据的整合，提升转化漏斗每一阶段的人群数目，以提升总转化量

第一步：网站再定向

广告主会发现网站内再定向带来的购买转化量有限，这是因为大部份广告主只会再定向曾经将商品加入购物车的访客。要想提升网站再定向的效果，最优的方法是根据用户浏览过的页面进行属性分类，并呈现具有针对性的内容。具体参考下图：

有了全面的追踪和分类，再定向受众数量的基数大幅增加。在短短两个星期内，交易数量显着提升，尤其是来自老访客的成交量更是大幅提升44%。

第二步：搜索再定向(search retargeting)及购买第三方受众分类数据

一方面，再定向可以有效地召回老访客，增大重复进入网站及购买的可能性。但同时，广告主还应该考虑怎么能增加新访客，以保证转化漏斗有足够的新增流量。

首先，我们利用搜索关键词捕捉有兴趣的用户，然后储存有关的用户数据，最后，在交易平台上将合适的广告呈现给该用户。此外，我们还会关注第三方受众分类数据中那些有着同样行为特征的用户信息，整合在一起进行精准投放。

在进行搜索再定向及购买受众数据后，新客户所带来的成交大幅度上升254%，广告效果花费cpa下降29%，同时增加该网站整体的浏览量。

第三步：利用机器学习(machine learning)进一步扩大客户的数量

用户来进行定位广告投放。xmo的算法可以对比客户的crm消费者数据与第三方受众数据，并预测出哪些网络用户会有特定的购买倾向。在这个案例中，xmo能通过机器学习来不断产生新的受众，平均每周能够细分出一个有着230万样本的人群。通过将广告投放到我们已有的目标受众群和由机器学习锁定的新目标受众，我们可以看到非常喜人的广告效果，虽然cpa轻微上升14%，但新客户成交量大幅增长26%说明了机器学习能有效地为广告主发掘新客户。

什么是机器学习(machine learning)? (摘自维基百科wikipedia) 机器学习是人工智能的核心，根据数据或以往的经验，通过设计算法来模拟背后机制和预测行为，并获取新的数据。这是一个重新组织已有的知识结构使之不断改善自身性能的过程。研究者可以

通过机器学习来抓取现有数据的特征来预测未知的概率分布，找到新的具有相同特征的数据并加入库中。机器学习中最关键的就是开发出能智能识别复杂模式并能智能化决策的算法。

观点总结

多渠道数据的整合可以在两方面帮助广告主提高广告表现。

首先，此举可以增加广告受众总数，并会为广告主赢得源源不断的访问量。第二，多渠道数据整合后的定向还能促进消费者购买漏斗的每一个过程，广告主通常利用网站再定向技术来召回“购物车放弃者”或者流失的老客户，但实际上，广告主应该把注意力放在现有客户和新客户的比例。总而言之，从搜索动机数据，到受眾分类数据，到最终的机器学习，都能促进购买漏斗的顶端访客数量的增加。结合上创意的策略定制、精准的位置选择，客户的转化率将会提高，广告主也将挖掘出更多的商机。