15:58:03 mfb-中科软支付产品负责人
突然好安静…… 为了打破这片宁静，有个问题请教一下[捂脸]，风控系统需要去业务系统数据库中取数据，如果需要一分钟分析一次这数据该怎么取？ 一部分数据在一分钟之内并无变化，那风控系统每分钟都要去获取一遍吗？
16:00:26 周亮-找钢网-金融系统PL
数据记录中应该有个最后修改时间字段吧，拉取当前时间在最后修改时间后的。 数据量不大就全部拉取。
16:01:23 右军
风控去扫数据，还是发生交易的使用，调用风控？
16:02:05 mfb-中科软支付产品负责人
数据量大，如果使用数据库监听怕数据库操作频繁触发监听也会频繁，造成不稳定。
16:02:51 周亮-找钢网-金融系统PL
可以在业务系统中埋点，通过接口实时传输；或者通过消息系统准实时传输，这样不会对系统或数据库造成压力。
16:03:04 mfb-中科软支付产品负责人
风控去扫数据，然后把分析结果放缓存，交易的时候去缓存里查是否记录风险用户
16:03:37 mfb-中科软支付产品负责人
业务系统分了很多，如果动业务系统 改动量会很大
16:03:50 Aaron-携程金融支付PL
是分析全量数据吗？
16:04:11 mfb-中科软支付产品负责人
对，分析全量数据，用户行为轨迹等等
16:04:17 Aaron-携程金融支付PL
一分钟分析一次，那分析一次需要多久？
16:04:54 mfb-中科软支付产品负责人
第一次分析可能久一些，下一分钟做缓存增量分析
16:05:44 Aaron-携程金融支付PL
如果业务单一的话，建议主备分开，分析备份数据，业务调用时调用风控推给风控增量
16:06:35 右军
如果对数据实时性要求不那么高，风控的数据输入可以走数据仓库，或者备库。不建议直接操作业务库，随便抖一抖都是问题。
16:06:51 Aaron-携程金融支付PL
不过，成本有点高
16:09:22 mfb-中科软支付产品负责人
恩，可能没有这个资源
16:09:44 张泽雄-民生金服 项目总监
这是一个典型的lambda架构应用场景
16:10:08 mfb-中科软支付产品负责人
主从库吗？
16:10:40 张泽雄-民生金服 项目总监
这是一个全量+增量的分析模型
16:11:43 mfb-中科软支付产品负责人
好的，我先去深入了解一下
16:11:51 mfb-中科软支付产品负责人
谢谢指点！
16:13:02 张泽雄-民生金服 项目总监
面临的一个问题，全量计算性能很低，全量只能批量去做，而且要异步去做
16:13:56 mfb-中科软支付产品负责人
对，所以我这边风控系统自己去拿需要的数据，然后定时去取增量数据，异步分析存缓存
16:14:52 张泽雄-民生金服 项目总监
实时风控对性能要求很高
16:15:28 张文斌
扫数据库这种设计 量级肯定不大 哈哈
16:15:52 张文斌
可以看看alibaba-canal 基于binlog+kafka 做实时数据处理
16:16:07 mfb-中科软支付产品负责人
规则引擎，是实时的， 模型分析用户画像等是异步的
16:16:08 张文斌
结合离线数据来搞 才是正路
16:16:51 mfb-中科软支付产品负责人
这边把log存的log表，日志这边用的ELK 没上kafka
16:17:29 张泽雄-民生金服 项目总监
和我这个差不多吧
16:17:30 张泽雄-民生金服 项目总监
16:17:48 mfb-中科软支付产品负责人
我看一下
16:20:34 右军
drool 跑规则，实时速度怎么样？
16:21:10 张泽雄-民生金服 项目总监
没有问题
16:21:52 邱显-融数金服-支付风控
drools的那些规则是后台实时配置的吗
16:22:11 张泽雄-民生金服 项目总监
logstash->kafka很容易
16:22:27 张泽雄-民生金服 项目总监
对
16:23:58 张泽雄-民生金服 项目总监
16:25:24 mfb-中科软支付产品负责人
一样，只不过你这边是埋点数据，我这边不能改业务系统，只能自己去log表里取
16:25:35 mfb-中科软支付产品负责人
数据来源有些区别，其它都一样
16:26:00 mfb-中科软支付产品负责人
在线服务引擎我没理解 是做什么的？
16:26:03 张泽雄-民生金服 项目总监
架个kafka就一样了
16:26:43 张泽雄-民生金服 项目总监
实时风控处理核心模块
16:28:05 mfb-中科软支付产品负责人
哦 用来给外部系统提供的接口？
16:29:05 张泽雄-民生金服 项目总监
对
16:30:16 mfb-中科软支付产品负责人
谢谢张老师，一如既往的分享自己的知识，升华别人
16:31:02 张泽雄-民生金服 项目总监
我们这边当初规划做的比较多，log都是JSON格式存储的，所以处理起来方便多了
16:31:53 mfb-中科软支付产品负责人
真是前期规划做得好，未来扩展就方便
16:32:39 马忠信-联金所-深圳
给张老师赞一个
16:32:53 mfb-中科软支付产品负责人
像我们这个，风控系统要单独做个服务，然后自己去分析所有业务系统数据接口，做数据适配，然后分析，最后提供接口服务。业务系统有多，数据量也很大，然后谁都不愿意改。哈哈
16:34:18 张泽雄-民生金服 项目总监
我这个图中有个数据枢纽，就是做这个事的，可以从外部系统格式化数据后，统一导入到风控库中
16:34:37 马忠信-联金所-深圳
sqoop可以把
16:34:49 马忠信-联金所-深圳
ELT过程？
16:35:14 张泽雄-民生金服 项目总监
差不多，各种格式的
16:35:47 马忠信-联金所-深圳
这个风控库很像一个数据仓库啊
16:35:58 mfb-中科软支付产品负责人
谢谢谢谢！！
16:36:30 张泽雄-民生金服 项目总监
风控库只是一个逻辑概念，可以按主题分别存储
16:36:44 马忠信-联金所-深圳
数据集市
16:36:52 张泽雄-民生金服 项目总监
嗯
16:36:57 马忠信-联金所-深圳
一个数据应用场景
16:37:31 张泽雄-民生金服 项目总监
对，按主题、场景、性能等分别存储
16:38:12 马忠信-联金所-深圳
@张泽雄-民生金服-研发-北京 想请教一下张老师，数据集市具体的存储模式是什么样的，是命名为不同的数据库还是建立不同的表啊
16:38:41 mfb-中科软支付产品负责人
这岂不是你可以自定义
16:39:22 张泽雄-民生金服 项目总监
都有，先是库，再是表
16:39:36 张泽雄-民生金服 项目总监
一般都是宽表
16:39:47 马忠信-联金所-深圳
数据集市本来就是根据业务自定义的，只不过没实践过，哈哈，不知道具体怎么时间
16:40:15 马忠信-联金所-深圳
@张泽雄-民生金服-研发-北京 您的意思是不同场景建立不同的宽表？
16:40:26 马忠信-联金所-深圳
可能位于同一个数据库里
16:40:35 张泽雄-民生金服 项目总监
对啊，
16:40:47 马忠信-联金所-深圳
这样扩展性其实会很好
16:41:08 马忠信-联金所-深圳
可能数据冗余大一些
16:41:19 马忠信-联金所-深圳
这么理解应该对吧[呲牙]
16:41:38 张泽雄-民生金服 项目总监
是的，一切为了性能
16:42:21 马忠信-联金所-深圳
我看美团的大数据架构改造文章，就是从事实星座模型改成了宽表
16:42:37 张泽雄-民生金服 项目总监
当性能成为瓶颈的时候，是很头痛的事，有可能要推翻架构了
16:42:41 马忠信-联金所-深圳
因为后面场景越来越多，数据结构都乱了
16:43:14 张泽雄-民生金服 项目总监
这个度要把握好
16:43:52 郭芬-中央结算公司
我们的项目基本上没有考虑过性能。。
16:44:14 郭芬-中央结算公司
在建的新一代核心系统考虑了。
16:44:29 张泽雄-民生金服 项目总监
在前期的时候 ，宽表和一般结构化表，我们都保存
16:44:32 马忠信-联金所-深圳
[呲牙]可能都是架构到了出现死结的时候，不得不改了才会改
16:45:01 郭芬-中央结算公司
打补丁打不下去了，就搞新一代了
16:45:14 张泽雄-民生金服 项目总监
是的，你们有钱
16:45:26 马忠信-联金所-深圳
@张泽雄-民生金服-研发-北京 老师能分享下项目的架构情况吗
16:45:34 张泽雄-民生金服 项目总监
一般在风控有两套库结构
16:46:13 马忠信-联金所-深圳
主要是数据仓库这块[呲牙]
16:46:17 张泽雄-民生金服 项目总监
这个还没弄完呢，等有机会的啊
16:46:27 马忠信-联金所-深圳
好的
16:46:28 mfb-中科软支付产品负责人
张老师加一下微信[呲牙]
16:47:04 马忠信-联金所-深圳
[呲牙]我也加一下
16:49:34 张泽雄-民生金服 项目总监
刚才提到的那个问题，为了防止宽表过度，结构化的库表也会同时存在，作为备分。
16:50:09 张泽雄-民生金服 项目总监
开个会啊，你们继续
16:56:28 马忠信-联金所-深圳
好嘞
17:02:49 冷暖自知-风控 裕福支付 北京
各位谁能推荐下关于风控规则类的书籍
17:03:42 马忠信-联金所-深圳
每个行业都不一样啊
17:03:58 冷暖自知-风控 裕福支付 北京
支付[憨笑]
17:04:29 pangning-安邦集团收付团队研发
都是依赖业务的
17:04:35 pangning-安邦集团收付团队研发
场景不同
17:05:07 孔晓光 丰瑞祥CTO
风控是一件贴身的事情
17:05:59 冷暖自知-风控 裕福支付 北京
规则是不都是那些规则么
17:06:30 冷暖自知-风控 裕福支付 北京
有没有实用的书推荐下
17:06:41 冷暖自知-风控 裕福支付 北京
我这么问是有问题么
17:07:05 都沙沙-点融网-支付PM
这个好像真的没啥书可看。。。。。
17:07:39 都沙沙-点融网-支付PM
你接触的商户多了，妖孽多了，踩得坑多了，客诉拒付多了，自然就有规则了。。
17:07:42 冷暖自知-风控 裕福支付 北京
那就是根据经验，场景喽
17:07:49 冷暖自知-风控 裕福支付 北京
哈哈
17:07:55 冷暖自知-风控 裕福支付 北京
[强]
17:08:05 右军
业务规则多来自于经验，
17:08:08 都沙沙-点融网-支付PM
根据你跟商户和客户斗智斗勇的经验
17:08:23 都沙沙-点融网-支付PM
现在客户也不都是弱势了，很多客户也妖孽的很
17:09:00 孔晓光 丰瑞祥CTO
嗯，客户多精呀，预授权辣个就是酱紫
17:09:42 右军
看到上海的朋友不少，帮小兄弟转一下 本周六9.9的一个技术活动。 http://www.huodongxing.com/event/3401465067300?coupon=haomai 本链接直接优惠。
17:10:14 右军
17:12:28 淡风林-中移动杭州研发中心PM
唉，啥时候有关于支付产品的活动啊，技术真心看不懂