11:18:38 万黎-恒丰银行-支付产品PM
现在银联的二维码和微信支付宝能聚合在一起吗?
11:19:09 龚晓冬-银商账户-产品-上海
可以的。。。
11:20:11 万黎-恒丰银行-支付产品PM
多谢[强]
11:20:44 Roger丙-翼支付
可以聚合在一起是指通过聚合支付,用户主扫这种模式?
11:21:23 孟??
好像银联的不能喝支付宝微信的聚合
11:21:40 Roger丙-翼支付
据我们沟通下来的结果看,目前银联二维码,用户主扫的都是根据订单信息动态生成的码,扫了之后要去银联这边查订单信息的
11:22:20 龚晓冬-银商账户-产品-上海
嗯,但是是能做交易,就是麻烦一点
11:22:23 Roger丙-翼支付
第三方支付比如支付宝微信,挂在小店里的静态码一般都是只包含了商户信息,银联二维码规范里支持,但是银联好像自己没做
11:22:27 Roger丙-翼支付
也没商户支持。。
11:23:47 龚晓冬-银商账户-产品-上海
不过主扫风险也是存在的,估计银联是从风险考虑的结果吧
11:28:53 jacky-讯联数据-研发总监
银联针对小微商户,是有静态码的…
11:29:18 龚晓冬-银商账户-产品-上海
嗯,限额比较低,好像是500
11:30:27 jacky-讯联数据-研发总监
嗯,初始限额较低,不过可以通过完善商户信息或者根据交易频次之类的,进行调额…
11:30:29 戴斌-招行信用卡
银联支持静态码的
11:31:06 jacky-讯联数据-研发总监
但银联的静态码,目前了解下来,没办法像微信、支付宝那样,聚合到一起…
11:31:59 jacky-讯联数据-研发总监
商家只能,贴一个 微信+支付宝+xxx钱包 的聚合静态码,再贴一个 银联静态码…..[捂脸]
11:32:32 龚晓冬-银商账户-产品-上海
但是我记得我们当时测试的时候是可以的。。。估计后来改了。。
11:34:06 jacky-讯联数据-研发总监
呃?群里有人完成过 银联静态码的聚合嘛?我目前了解到的信息 是没法聚合,但也不晓得是不是有变通的方法…
11:34:43 戴斌-招行信用卡
不行的吧,除非扫码的app支持
11:34:57 戴斌-招行信用卡
但是这个要一个个app谈
11:36:43 jacky-讯联数据-研发总监
嗯,我们分析下来,银联的静态码,是后台接口模式,跟微信、支付宝的 前台js sdk/js api 方式 不一样,即使勉强合成一个码,在支付过程和体验上 也有很大的问题…
11:41:05 戴斌-招行信用卡
静态码可以是网址,但是这个网址能不能访问,怎么处理是由扫码app说了算的
12:34:31 李?德灿
是的,银行的APP不支持其他公司的链接的。
12:36:12 李?德灿
12:36:13 孔晓光 丰瑞祥CTO
银联有三套二维码系统,目前很难聚合
12:36:20 李?德灿
会有类似提示
12:41:43 Tim-深圳百灵鸟-架构
用户积分兑换和用户等级权益设计,谁能给点思路,有点不解,谢谢!
13:09:28 dio
参考国内最优秀的积分体系和等级体系 QQ会员
13:13:08 龚晓冬-银商账户-产品-上海
周末我会讲基于账户的积分子账户
13:13:12 龚晓冬-银商账户-产品-上海
下周五
13:18:59 dio
期待,话说会说说积分兑换这块吗
13:54:52 龚晓冬-银商账户-产品-上海
会
13:55:24 郭芬-中央结算公司
期待
13:55:50 龚晓冬-银商账户-产品-上海
其实就是上次秋球老师说的衍生
13:55:56 龚晓冬-银商账户-产品-上海
都是基于账务系统实现的
15:25:45 ??Ray??
咨询下各位,银联云闪付线上和线下收取的服务费价格是否一致?还是区别定价的?
15:38:26 肖勇
深圳
15:38:57 肖勇
众联,有熟悉的朋友嘛?
15:47:24 dio
哥们,你提这个名字让我想起了15年前玩的联众棋牌室
15:53:03 肖勇
是的!正在联系这个公司。
16:35:54 张泽雄-民生金服 项目总监
群里有玩客户画像的朋友吗?
16:36:20 张泽雄-民生金服 项目总监
出来聊会儿~
16:40:39 温启明-包商银行 数字银行架构师
我做过
16:40:53 温启明-包商银行 数字银行架构师
用户画像
16:41:13 张泽雄-民生金服 项目总监
你们是用的哪种数据库?SQL的还是NOSQL的?
16:44:32 温启明-包商银行 数字银行架构师
sql 呀
16:45:12 温启明-包商银行 数字银行架构师
你说的用户画像 是先做用户标签 然后看群体 特征的吗?
16:45:16 张泽雄-民生金服 项目总监
那么多的维度数据,是如何组织的?通过标签过扩展?
16:46:21 温启明-包商银行 数字银行架构师
对呀,我原来 外包给你们民生就是做用户画像 [捂脸] 用的td
16:46:36 张泽雄-民生金服 项目总监
用户画像,我理解主要是行为画像,就是把一个用户的行为分类
16:47:16 张泽雄-民生金服 项目总监
民生银行么?
16:47:27 温启明-包商银行 数字银行架构师
对呀,信息中心
16:47:52 温启明-包商银行 数字银行架构师
就是一个个 行为分类
16:48:21 温启明-包商银行 数字银行架构师
标签的加工 有的也会用一下挖掘模型
16:48:32 温启明-包商银行 数字银行架构师
流失 提升 响应 细分
16:49:15 温启明-包商银行 数字银行架构师
后来 还加了 一些社会网络分析 研究 交易关系 静态关系
16:51:04 张泽雄-民生金服 项目总监
我们金服和民生银行不是一家的,我们是泛海旗下的。泛海控股民生银行。
16:51:56 张泽雄-民生金服 项目总监
那就是相当于一个KV库了?
16:52:17 温启明-包商银行 数字银行架构师
可以这么说
16:52:42 温启明-包商银行 数字银行架构师
标签和kv 感觉有点不太一样
16:52:50 温启明-包商银行 数字银行架构师
kv 是数值吧
16:53:11 温启明-包商银行 数字银行架构师
便签 是 高 中 低 ,或者 0 1
16:53:26 张文斌
用SQL能放多少数据量?
16:53:50 张泽雄-民生金服 项目总监
V指的可以是枚举,不限于数值
16:54:03 温启明-包商银行 数字银行架构师
也是
16:54:24 张泽雄-民生金服 项目总监
性能如何阿?
16:55:07 温启明-包商银行 数字银行架构师
teradata 一张表 放 几亿条 没什么压力的
16:55:23 温启明-包商银行 数字银行架构师
但也不推荐用td
16:55:24 张泽雄-民生金服 项目总监
能否分享一下用SQL库的理由,使用过程中有没有什么坑?
16:56:44 张泽雄-民生金服 项目总监
我的一个感觉就是全用标签,数据关系比较乱,不容易管理
16:57:04 温启明-包商银行 数字银行架构师
是民生信息中心 习惯用td 并没有 什么特别的理由
16:57:18 温启明-包商银行 数字银行架构师
做成一个大宽表
16:57:26 张泽雄-民生金服 项目总监
这个理由好 [耶]
16:57:35 温启明-包商银行 数字银行架构师
维护确实有点麻烦
16:57:51 张泽雄-民生金服 项目总监
这得多宽阿
16:58:15 温启明-包商银行 数字银行架构师
200多个字段
16:58:22 张文斌
要多宽有多宽
16:58:27 张泽雄-民生金服 项目总监
今天有同事给我提这个方案,我觉得有点不太理解,
16:58:31 张文斌
互联网公司 画像类存储一般用 Hbase
16:58:38 张文斌
不会用这种商业产品
16:59:06 温启明-包商银行 数字银行架构师
我在包商 也用了hadoop那套
16:59:23 温启明-包商银行 数字银行架构师
感觉其实 并不好用
16:59:38 张泽雄-民生金服 项目总监
在HBASE也是建一张宽表?
17:00:07 张文斌
是的
17:00:11 张文斌
不好用在哪里
17:00:36 张文斌
Hadoop那一套的运维成本还是较高的 要有专门的人来运维集群
17:00:50 温启明-包商银行 数字银行架构师
我用 5台 cdh 做集群
17:01:01 张文斌
一般适合整个生态配合起来用 spark hbase impala这些
17:01:06 温启明-包商银行 数字银行架构师
性能 不行
17:01:20 温启明-包商银行 数字银行架构师
都用啦
17:01:23 张文斌
hbase一般不会直接对外输出的
17:01:40 张文斌
hbase不适合直接提供线上服务 一般上层接一个缓存
17:02:08 温启明-包商银行 数字银行架构师
总要卸数 导数 把数据 给应用系统吧
17:02:59 张文斌
应用系统怎么用呢 是不是查询
17:04:17 张文斌
业务系统查询向缓存查询即可 hbase中数据用于进行离线的分析
17:07:48 张泽雄-民生金服 项目总监
这个是我规划架构,和你们说的也差不多
17:07:49 张泽雄-民生金服 项目总监
17:08:15 温启明-包商银行 数字银行架构师
一部分 是查询 还有一部分 画像也是要作为 推荐系统的数据源 之一呀
17:08:55 温启明-包商银行 数字银行架构师
差不多就是这个架构
17:09:24 张泽雄-民生金服 项目总监
性能你可以通过后台导出到关系数据库中
17:09:25 张文斌
推荐系统service层也可以复用这个缓存 或者 另行缓存
17:09:28 温启明-包商银行 数字银行架构师
elk 也可以在kafka 前面
17:09:44 温启明-包商银行 数字银行架构师
对对,
17:09:59 张文斌
这是什么的架构
17:10:25 张泽雄-民生金服 项目总监
分析系统
17:10:50 张泽雄-民生金服 项目总监
架构模式上,属于lambda架构
17:10:58 张文斌
哦 吓我一跳
17:11:20 张文斌
没体现离线的部分
17:12:30 张文斌
离线部分的历史数据通过什么进行上浮呢
17:13:04 张泽雄-民生金服 项目总监
不在这体现
17:13:09 张文斌
哦
17:13:19 张文斌
是OLAP
17:13:21 张泽雄-民生金服 项目总监
有数据交换中心
17:13:23 张文斌
分析么
17:14:09 张泽雄-民生金服 项目总监
可以这么理解。
17:14:25 张泽雄-民生金服 项目总监
最终结果汇总一块
17:15:26 张文斌
嗯 但是跟用户画像好像没啥关系?
17:15:34 张泽雄-民生金服 项目总监
我问个问题,为什么非要用一张宽表,而不用多张表?
17:15:45 张泽雄-民生金服 项目总监
这个没有体现业务
17:16:13 张泽雄-民生金服 项目总监
有关系,涉及到如何画的问题
17:17:04 张泽雄-民生金服 项目总监
一些确定的模型,表结构其实就是一定的
17:17:47 张文斌
?? 用多张表的好处是什么
17:18:16 温启明-包商银行 数字银行架构师
1.这是一个纯客户级的,2.不保留历史 3.标签的一般不会剧烈变化 4.标签 往往是挖掘模型的数据源 一张宽表 方便挖掘
17:18:23 张泽雄-民生金服 项目总监
模型结构很清晰
17:18:45 张文斌
列式存储, 大宽表但是不影响性能 权限控制 标签可以独立进行更新管理
17:19:06 张文斌
模型结构清晰 这是伪命题 你有一张表 就可能有 1w张表
17:19:15 张文斌
后续如何进行维护
17:19:25 张文斌
不保留历史 hbase可以保留历史
17:19:42 张泽雄-民生金服 项目总监
那你这么说,标签还有1亿个呢
17:19:50 张文斌
是的
17:20:19 张文斌
哈哈
17:20:39 张文斌
随意聊聊 别认真
17:21:07 张泽雄-民生金服 项目总监
开个玩笑,虎虎
17:21:21 张泽雄-民生金服 项目总监
这个不应该是原始数据的任务吗?
17:22:11 温启明-包商银行 数字银行架构师
我是不太想 保留历史 空间老不够 申请扩容又不批 标签数据相对稳定 就不保留啦
17:22:16 温启明-包商银行 数字银行架构师
[捂脸]
17:22:24 张文斌
哈哈
17:22:47 张文斌
原始数据分散在 mysql file parquet 各种地方 , 这块首先要先管理起来 ETL 是第一步 然后是分析建模, 打标签, 存储到hbase
17:22:58 张文斌
最后就是数据上浮到缓存 进行对外服务
17:23:01 张泽雄-民生金服 项目总监
我的意思和启明的意思是一样,保留一个最终运算结果就行了
17:23:13 张文斌
简单说就是这三步
17:23:33 张文斌
可以保留一个 只是hbase的数据结构可以让你多保留几个版本
17:23:46 张文斌
但是一般也没人用…
17:33:14 张泽雄-民生金服 项目总监
我的设计思路是这样的:原始数据基本上都是实时数据,所以全量到Hadoop(先不考虑如何存储),对外输出也是要求实时性高的,所以同时上送到实进计算层用Spark Streaming将结果存入到前端的存储库中(如Redis,mysql),批量计算模型则采用Hadoop中数据进行全量计算,将全量结果推入到前羰存储库中。
17:37:01 王启荣-合众财险CTO
我们是通过位的方式来保存标签,一个列能保持64个标签,每个列相当于一个组。通过多个列来支持更多标签。
17:37:57 张泽雄-民生金服 项目总监
我想知道是所有属性都需要用标签吗?
17:38:12 张泽雄-民生金服 项目总监
为什么不ECIF那样的思路?
17:38:25 王启荣-合众财险CTO
这样存储数据量比较小,但是运算量比较大。1000万个用户数据在MySQL上也是秒级就能搞定
17:39:07 韩财光
画像更侧重长期数据的累积 实时需求不大吧? 不同的人同一标签的权重不同
17:39:53 张泽雄-民生金服 项目总监
实时性的需求我就不说了,因为涉及到客户画像、用户行为画像
17:42:09 王启荣-合众财险CTO
使用位存储的方式,能够很好的支持各种标签的交集、并集、合集运算。
17:42:28 张泽雄-民生金服 项目总监
@王启荣—合众财险—CTO—北京 你说的是计算效率吗?
17:42:48 王启荣-合众财险CTO
是的。
17:43:02 张泽雄-民生金服 项目总监
嗯,这是个好思路
17:43:03 温启明-包商银行 数字银行架构师
标签 应该是比ecif的 复杂一点,偏向于营销策略 比如 经营户标签(周期性转入 转出),而且标签有比ecif 更有预测
17:43:20 温启明-包商银行 数字银行架构师
感觉
17:43:54 王启荣-合众财险CTO
因为都是二进制的运算,在内存就能很快计算并且能够并行化。 @张泽雄-民生金服-研发-北京
17:44:10 张泽雄-民生金服 项目总监
嗯,谢谢
17:44:35 韩财光
long型这段 一个这段只能表示64个 计算交集这些直接用数据库位运算吗
17:44:46 张泽雄-民生金服 项目总监
我先下了,回头再讨论这个问题
17:45:21 张泽雄-民生金服 项目总监
你们继续
17:45:35 王启荣-合众财险CTO
使用java计算。我们当时数据量不太大,只有1000多万用户,使用单个mysql就搞定了,基于各种标签的操作基本取决于mysql的全表扫描的时间。
17:46:32 王启荣-合众财险CTO
优化一下,可以把常用的客户放在NoSQL数据库中。
17:47:04 王启荣-合众财险CTO
当时数据库方案已经能解决业务需要了,因此没有使用任何NoSQL。
17:47:19 韩财光
效率慢吧 虽然单个位很快 但是数据库要遍历每条记录 时间花在数据扫描上了 位存储并不能提升效率
17:48:40 张泽雄-民生金服 项目总监
特定条件查询性能如何?因为涉及到模糊查询了
17:49:04 王启荣-合众财险CTO
也不一定慢,因此数据库内部存储占用的空间很小。其他的方式数据库占的存储明显大很多,查询数据库造成的数据库扫描会慢。这是一个平衡。
17:49:25 韩财光
或者倒转过来 以标签查用户 主要看场景 应用关注决定存储方式 不一定哪个好
17:50:01 王启荣-合众财险CTO
韩财光说的对,要根据场景。没有银弹。
17:50:49 王启荣-合众财险CTO
还是要根据场景,进行相应的估算或者性能压测比较。
18:02:16 mfb-中科软支付产品负责人
谁有QOS在支付框架中的应用介绍相关文献,在支付框架中QOS模块应用的多吗
18:02:50 韩财光
前面说的实时是指新增部分的实时ETL计算 实时新增的数据信息量应该不大 实时快速查询历史积累的画像数据这个肯定要的
19:08:59 李伟锋
19:09:16 李伟锋
这本书现在只有这种版本了??
19:09:58 韩财光
各位同学 原定今晚的分享已调整至下周三 特此通知
19:24:31 饶嘉乐-深圳-腾讯
好的。
19:26:16 蔡云龙 开联通支付
[OK]
19:46:35 龚晓冬-银商账户-产品-上海
@李伟锋-蘑菇街金融-杭州?还是要了解账务系统和清算系统之间的关系,这是支付公司的核心
19:51:59 李伟锋
嗯嗯
19:55:16 dio
等你分享一下这之间的关系,这块需要一个完整的描述
21:32:07 夜九
等你分享一下这之间的关系,
22:18:48 我
6月19日的分享整理: http://wechat.lixf.cn/2017/06/19/wechat33/
22:21:18 我
@杨继培-微元-PM-杭州 也帮忙确认下是否有需要修改的地方以及不适合公开的内容,谢谢。
22:26:06 Conny??
[强]
22:29:41 蔡云龙 开联通支付
[强]
22:29:51 小强-海航-PM-北京
[强]
22:35:12 WLX-支付通项目主管
[强]
22:37:32 吕耀辉-维金-PM
[强]
22:38:13 陈桂荣 翼支付 -研发组长
[强][强]
22:45:40 楷,事务开发,腾讯,深圳
[强][强][强]
22:48:14 沈一点-恒生电子-工程师
[强]
22:51:01 活动小丑-PPTV-产品
[强]
22:56:08 WillYang-嘉联支付-架构师
[强]
23:00:31 黄朋英-易联支付PM
[强][强]
23:07:52 龚晓冬-银商账户-产品-上海
银行产品与账户、核算(全文)
23:23:38 Chess-技术总监 首付游
[强][强]