spark-sql yarn模式配置注意事项

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

<property>    <name>yarn.nodemanager.resource.memory-mb</name>    <value>22528</value>    <discription>每个节点可用内存,单位MB，每个节点配置多大内存。即</discription>  </property>    <property>    <name>yarn.scheduler.minimum-allocation-mb</name>    <value>1500</value>    <discription>单个任务可申请最少内存，默认1024MB</discription>  </property>    <property>    <name>yarn.scheduler.maximum-allocation-mb</name>    <value>16384</value>    <discription>单个任务可申请最大内存，默认8192MB</discription>  </property>  <property>    <name>yarn.nodemanager.resource.cpu-vcores</name>    <value>4</value>    <discription>表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数</discription>  </property>

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Spark Yarn 注意事项 SPAR Park 智能