980 0

[其他] 如何快速成为大数据开发实战专家? [推广有奖]

  • 0关注
  • 66粉丝

教授

55%

还不是VIP/贵宾

-

威望
1
论坛币
13016 个
通用积分
64.5922
学术水平
26 点
热心指数
25 点
信用等级
15 点
经验
8663 点
帖子
617
精华
0
在线时间
170 小时
注册时间
2016-12-6
最后登录
2017-4-8

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币

下面是StuQ 发布的大数据工程师技能图谱(仅供参考)
大数据通用处理平台
  • Spark
  • Flink
  • Hadoop

分布式存储

HDFS

资源调度

Yarn

Mesos

机器学习工具

Mahout

  • Spark Mlib
  • TensorFlow (Google 系)
  • Amazon Machine Learning
  • DMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

  • Pig
  • Hive
  • kylin
  • Spark SQL,
  • Spark DataFrame
  • Impala
  • Phoenix
  • ELK

8.1 ElasticSearch

8.2Logstash

8.3Kibana

消息队列

  • Kafka(纯日志类,大吞吐量)
  • RocketMQ
  • ZeroMQ
  • ActiveMQ
  • RabbitMQ

流式计算

  • Storm/JStorm
  • Spark Streaming
  • Flink

日志收集

Scribe

Flume

编程语言

  • Java
  • Python
  • R
  • Ruby
  • Scala

数据分析挖掘

MATLAB

SPSS

SAS

数据可视化

  • R
  • D3.js
  • ECharts
  • Excle
  • Python
机器学习

机器学习基础

  • 聚类
  • 时间序列
  • 推荐系统
  • 回归分析
  • 文本挖掘
  • 决策树
  • 支持向量机
  • 贝叶斯分类
  • 神经网络

机器学习工具

  • Mahout
  • Spark Mlib
  • TensorFlow (Google 系)
  • Amazon Machine Learning
  • DMTK (微软分布式机器学习工具)
算法

一致性

  • paxos
  • raft
  • gossip

数据结构

  • 栈,队列,链表
  • 散列表
  • 二叉树,红黑树,B树

常用算法

1.排序

插入排序

桶排序

堆排序

2.快速排序

3,最大子数组

4.最长公共子序列

5.最小生成树

最短路径

6.矩阵的存储和运算

云计算

云服务

  • SaaS
  • PaaS
  • IaaS
  • Openstack
  • Docker

End.


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:数据开发 如何快速 大数据 Dataframe OpenStack 如何快速成为大数据开发实战专家 大数据实战 大数据开发 大数据工程师技能图谱

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-6-4 06:23