楼主: kaixin202212
619 1

[Hadoop] [13章]Flink 从0到1实战实时风控系统 [推广有奖]

  • 0关注
  • 1粉丝

讲师

17%

还不是VIP/贵宾

-

威望
0
论坛币
380 个
通用积分
29.2918
学术水平
0 点
热心指数
3 点
信用等级
0 点
经验
5182 点
帖子
180
精华
0
在线时间
281 小时
注册时间
2022-11-10
最后登录
2024-4-30

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
[13章]Flink 从0到1实战实时风控系统
学习地址1:https://pan.baidu.com/s/1lB-ocUdSV_wan7KLPQE01A 提取码:4ieb
学习地址2:https://pan.baidu.com/s/1Op81Pp4HvzE0ifEOAIwPiw 提取码:03nj

Flink 从0到1实战实时风控系统视频教程2023,Flink是一个分布式流处理框架,提供了高性能、低延迟、可靠性等特性,适合处理大规模数据流。在基于Flink的风控系统中,通常需要使用一些数据处理和机器学习相关的库,例如Flink-ML(机器学习库)、Flink-Kafka(Kafka流数据处理库)、Flink-Table(数据表查询库)等。需要根据实际需求选择合适的技术栈,充分利用Flink的优势。

以下是使用Flink进行风控系统开发的一些技术栈参考:

Flink-ML:提供了多种机器学习算法和工具,例如线性回归、决策树、随机森林、支持向量机等。可以用于建立模型进行用户行为分析和风险预测等。
Flink-Kafka:提供了对Kafka数据源的支持,包括数据读取、写入和转换等操作。在风控场景中,可以使用Flink-Kafka集群进行数据转发和存储,将数据从一个或多个数据源获取,并存储到目标系统中。
Flink-Table:提供了对数据表的支持,包括SQL查询、实时更新和缓存等操作。在风控场景中,可以使用Flink-Table对数据处理和分析,将数据从一个或多个数据源获取和处理,并将结果输出到目标系统中。
Flink-Stream:提供了对实时数据流的计算和分析的支持,包括事件驱动、窗口查询和流式计算等操作。在风控场景中,可以使用Flink-Stream对实时数据流进行实时检测和分析,实现实时的风控预测和决策。

b.计数方式的选择:
目前能想到的会有:
mysql+db事务 持久化、记录可溯源、实现起来比较麻烦,稍微“重”了一点
redis+lua 实现简单,redis的可执行lua脚本的特性也能满足对“事务”的要求
mysql/redis+分布式事务 需要上锁,实现复杂,能做到比较精确的计数,也就是真正等到代码块执行成功之后,再去操作计数。
//简化版代码
@Component
class DetectManager {
    fun matchExceptionally(eventId: String, content: String){
        //调用规则匹配
        val rt = ruleService.match(eventId,content)
        if (!rt) {
            throw BaseException(ErrorCode.OPERATION_TOO_FREQUENT)
        }
    }
}


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:link Lin Exceptional exception operation

沙发
晏几道 发表于 2023-10-27 11:07:42 |只看作者 |坛友微信交流群
学习一下

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-5-2 00:29