Tag Archives: 大数据

从底层到应用,那些数据人的必备技能

前言:谨以此文献给对数据有热情,想长期从事此行业的年轻人,希望对你们有所启发,并快速调整思路和方向,让自己的职业生涯有更好的发展。

根据数据应用的不同阶段,我将从数据底层到最后应用,来谈谈那些数据人的必备技能。

1、大数据平台

目前很火,数据源头,各种炫酷新技术,搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~,前提是你要懂Java,很多平台都是用Java开发的。

目前很多企业都把数据采集下来了,对于传统的业务数据,用传统的数据是完全够用的,可是对于用户行为和点击行为这些数据或者很多非结构化的数据,文本、图像和文本类的,由于数据量太大,很多公司都不知道怎么进行存储。

这里面要解决的是实时、近实时和离线的大数据框架如何搭建,各数据流之间如何耦合和解耦,如何进行容灾、平台稳定、可用是需要重点考虑的。

阅读全文

微分享预告| 两年内从零经验,到携程数据产品经理是一种什么体验?

图片3

2014年到2016年短短两年间,携程市值从60亿美金增长至140亿美金。在整体高速增长的过程中,机票的占比也不断提升,成为携程最赚钱的事业部。而其中,数据发挥了不可忽视的作用。

作为携程机票前台数据产品经理,日常工作到底在做什么?与BI和产品经理的关系是什么,如何相处?

阅读全文

个性化推荐沙龙|饿了么推荐系统的从0到1

【作者简介】本文来自陈一村在携程个性化推荐与人工智能Meetup上的分享。视频戳这里。陈一村 ,饿了么数据运营部资深算法工程师,主要负责热卖美食推荐服务。

随着移动互联网的发展,用户使用习惯日趋碎片化,如何让用户在有限的访问时间里找到想要的产品,成为了搜索/推荐系统演进的重要职责。作为外卖领域的独角兽, 饿了么拥有百万级的日活跃用户,如何利用数据挖掘/机器学习的方法挖掘潜在用户、增加用户粘性,已成为迫切需要解决的问题。

个性化推荐系统通过研究用户的兴趣偏好,进行个性化计算,发现用户的兴趣点,从而引导用户发现自己的信息需求。一个好的推荐系统不仅能为用户提供个性化的服务,还能和用户之间建立密切关系,让用户对推荐产生依赖。

本次分享介绍饿 了么如何从0到1构建一个可快速迭代的推荐系统,从产品形态出发,包括推荐模型与特征工程、日志处理与效果评估,以及更深层次的场景选择和意图识别。

阅读全文

微分享回放 | 携程是如何把大数据用于实时风控的

编者:本文为第十期【携程技术微分享】分享内容。视频回放可点击这里。

【携程技术微分享】是携程技术中心推出的线上公开分享课程,每月1-2期,采用目前最火热的直播形式,邀请携程技术人,面向广大程序猿和技术爱好者,一起探讨最新的技术热点,分享一线实战经验。

头图

携程作为国内OTA领头羊,每天都遭受着严酷的欺诈风险,个人银行卡被盗刷、账号被盗用、营销活动被恶意刷单、恶意抢占资源等。

目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。也从原来基于“简单规则+DB”,发展到目前能够支撑10X交易增长的智能化风控系统,基于规则引擎、实时模型计算、流式处理、M/R、大数据、数据挖掘、机器学习等的风控系统,拥有实时、准实时的风险决策、数据分析能力。

阅读全文

微分享预告 | 携程是如何做用户画像的

图片1

对携程来说,你是“大方”的么?

“用户影响力”是什么概念,如何识别“高影响力用户”?

如何知道用户出行偏好,比如喜欢 “温泉游”“亲子游”“大床房”“高星级”“商务舱”?

携程“用户画像”的架构是怎样的,如何实现“用户画像”的流计算,如何实现实时服务的高可用且可降级,如何实现离线异步服务的高效率?

如果你对上述问题感兴趣,就让老司机带你认识一下“大数据”背景下的“用户画像”吧~

阅读全文

活动 | 12月24日,来聊聊个性化推荐与人工智能

个性化推荐活动行推广banner今年的平安夜想好怎么过了吗?在实施你的小计划之前,还可以跟我们聊聊个性化推荐和人工智能哦。

告别单业务线作坊式推荐系统,如何打破数据孤岛,构建跨细分行业的“大数据”的高效推荐系统,面临算法和架构通用化的双重挑战。

近一年来,火热的人工智能,尤其是深度学习,在个性化推荐、广告以及互联网其它领域应用探索都有不少新进展。

由携程技术中心牵手携程基础业务部BI团队,带来的个性化推荐与人工智能Meetup,将邀请百度、腾讯、阿里、饿了么等互联网企业的一线技术大牛们,分享最新的推荐系统架构和算法实践,同时也邀请了上海交通大学等高校的知名学者分享学术界最新进展。

阅读全文

微分享预告 | 携程是如何把大数据用于实时风控的

头图

作为国内OTA领头羊,携程每天都遭受着严酷的风险威胁,个人银行卡信息泄露、账号被盗用、营销活动被恶意刷单、恶意抢占资源……

携程风控从零起步,经过五年的进化,目前已经有一套完整的风控体系,覆盖了事前、事中、事后的各个交易环节。

目前实时风控部分,已经做到百毫秒级的响应,欺诈识别率超过90%。异步流式处理引擎每天分析20亿条以上的交易数据、用户数据、行为数据,并做到了准实时(秒级)的给实时风控引擎提供决策数据。离线分析更是拥有强大的处理能力(超过1000Core)。

风控系统从1.0到现在的3.0,也从基于“简单规则+DB”,发展到目前的能支撑10x交易增长的智能化风控系统、基于规则引擎、实时模型计算、流式处理、M/R等技术打造的大数据风控基础设施,拥有实时和准实时的风险决策引擎、数据分析能力。

阅读全文

微分享回放 | 数据分析在携程产品设计中的应用

编者:林传毅,携程酒店UED资深交互设计师,2013年加入携程,负责酒店前后台产品设计及客栈通的整体设计。本文为林传毅在第八期【携程技术微分享】中的分享内容。视频回放可点击这里

【携程技术微分享】是携程技术中心推出的线上公开分享课程,每月1-2期,采用目前最火热的直播形式,邀请携程技术人,面向广大程序猿和技术爱好者,一起探讨最新的技术热点,分享一线实战经验。

阅读全文

每天TB级数据处理,携程大数据高并发应用架构涅槃

互联网二次革命的移动互联网时代,如何吸引用户、留住用户并深入挖掘用户价值,在激烈的竞争中脱颖而出,是各大电商的重要课题。通过各类大数据对用户进行研究,以数据驱动产品是解决这个课题的主要手段,携程的大数据团队也由此应运而生;经过几年的努力,大数据的相关技术为业务带来了惊人的提升与帮助。

以基础大数据的用户意图服务为例,通过将广告和栏位的“千人一面”变为“千人千面”,在提升用户便捷性,可用性,降低费力度的同时,其转化率也得到了数倍的提升,体现了大数据服务的真正价值。

在新形势下,传统应用架构不得不变为大数据及新的高并发架构,来应对业务需求激增及高速迭代的需要。

阅读全文

Copyright © 1999 - 2014 Ctrip. Powered by WordPress.