楼主: 安迪xwyang
593 1

minGPT 升级为nanoGPT [推广有奖]

  • 2关注
  • 0粉丝

小学生

7%

还不是VIP/贵宾

-

威望
0
论坛币
0 个
通用积分
0
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
80 点
帖子
2
精华
0
在线时间
3 小时
注册时间
2022-11-16
最后登录
2024-9-17

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
用于训练/微调中型 GPT 的最简单、最快的存储库。这是对[color=var(--color-accent-fg)]minGPT的重写,它优先考虑牙齿而不是教育。仍在积极开发中,但目前该文件train.py在 OpenWebText 上重现 GPT-2 (124M),在 38 小时的训练中在单个 8XA100 40GB 节点上运行。代码本身简单易读:train.py是一个约 300 行的样板训练循环和model.py一个约 300 行的 GPT 模型定义,可以选择从 OpenAI 加载 GPT-2 权重。就是这样。因为代码非常简单,所以很容易破解您的需求,从头开始训练新模型,或微调预训练检查点(例如,目前可用的最大一个起点是来自 OpenAI 的 GPT-2 1.3B 模型)。
git URL: https://github.com/karpathy/nanoGPT







二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Ming Nano ING Min GitHub gpt

沙发
r9205009 发表于 2023-1-29 15:58:38 |只看作者 |坛友微信交流群
休闲区(12区),包含: 休闲灌水、跳蚤市场、情感交友、灌水吧、一带一路、互联网运营、
跨学科讨论区、IDEAS/RePEc 排名、坛友说、人大经济论坛怀旧版、论坛推荐等分版
欢迎您来本区发表文章,意见或想法(需依论坛相关规范)或发售有用或稀缺之书籍,信息或发表生活感言,将会获得相对论坛币或其他奖励
关注微信送论坛币    https://bbs.pinggu.org/thread-2192087-1-1.html
推广论坛赚取论坛币 https://bbs.pinggu.org/home.php?mod=spacecp&ac=promotion
多种方式赚取论坛币:https://bbs.pinggu.org/home.php?mod=spacecp&ac=main
会员权限赠送论坛币  https://bbs.pinggu.org/buy.php
回答问题赚取论坛币:  https://bbs.pinggu.org/z_index.php?type=9
求 助 悬 赏 区 :     https://bbs.pinggu.org/forum-208-1.html
增加论坛币的方法 论坛制度一览表 :https://bbs.pinggu.org/thread-397905-1-1.html

1、发布优质内容和点赞
       用户发布优质帖子被点赞或者点赞优质帖子都将获得通用积分,注意只能是有价值的贴子或挖掘出有价值的贴子才能获得通用积分,每天都有机会。

2、论坛币交易兑换
    用户可以在论坛币与通用积分交易平台进行论坛币和通用积分的兑换。兑换地址:https://bbs.pinggu.org/ext8_airdrop.php?ac=transaction

3、上传优质附件
      a、您上传的附件被他人下载可以获取通用积分(流量费=0.15个通用积分)
      b、附件定价0-10个论坛币的,每被下载一次获得40%流量费(通用积分);10-50论坛币获得50%流量费(通用积分);50-100论坛币获得60%流量费(通用积分);100-200论坛币获得70%流量费(通用积分);200论坛币以上的获得80%流量费(通用积分)

4、领取通用积分空投大礼包
   领取地址:https://bbs.pinggu.org/ext8_airdrop.php

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加JingGuanBbs
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-11-6 08:10