研究者July

研究者July

北京七月在线科技有限公司 创始人

北京七月在线科技有限公司 创始人

  • 3 公司 七月在线
查看更多 a
置顶 为何我司论文审稿模型可以超过GPT4
核心三点:数据第一关键,其次训练策略,最后llama 2

详见此文《用一万多条paper-review数据集微调LLaMA2最终反超GPT4》:O网页链接
至于数据集、代码则见「大模型项目开发线上营」O网页链接
L研究者July的微博视频 ​​​​
想让帮弄项目,但连需求文档 都给不了的

要么只是随口一问 没正式立项
要么没想明白 钱少事多
​要么懒 ​​​​
3月28日 22:07 来自 Xiaomi MIX 4 已编辑
300人了,​证明讲其他课程中 几乎不可能有的「商用落地项目」,可以有多受欢迎
大模型项目开发线上营 [论文审稿GPT/RAG知识库问答/AI Agent等六大项目] O网页链接

其中三个都是我司各项目组迭代几月的商用落地项目 ​​​​
  • 长图
​现在再回头来看去年的初始版本,质量还是不行的 现在的版本则今非昔比,一篇文章通过不断维护,几月甚至几年下来 才能真正做到足够高的质量
应该是全网关于mamba最好懂的一篇了,《一文通透想颠覆Transformer的Mamba:从SSM、HiPPO、S4到Mamba》O网页链接

顺带发现Google抓的真快(搜mamba模型,已排第一) ​​​​
这两天 把这篇文章的一些细节修订了下,且文中有些经验,在我们审稿项目中也确实用到了
正在写新一篇blog,《大模型并行训练指南:通俗理解Megatron-DeepSpeed之模型并行/数据并行》O网页链接 ​​​ ​​​​
每个月的B端项目之外,一些学员的一对一项目咨询也是和对应的项目组一块弄了

​毕竟在高效率、高效果的要求之下,一个人无论在哪家公司,他的时间 经验 能力都有限,一切都是团队化运作 一切都是团队力量 ​​​​
和各个项目组,志同道合、共同搞一件件「彼此共同感兴趣,且业界影响力越来越大,更重要的是有着持续不断的价值感」的事,幸甚

人生过程 就是一个「价值实现、价值体现」的过程 ​​​​
通过始终不懈的努力,把「大模型审稿」这个工作 做到全球业界标杆
我司论文审稿GPT项目组,这两天将超过10人,前几年10个人可能不算多,但由于个个都是层层筛选,加之现在大模型时代,一人顶以前的多个人,所以10人已是一个项目大组,可以做很多事情了(且队伍还将持续扩大,包括其他4个项目组)

先把我司这个论文审稿GPT的审稿效果 尽快做成全球业界标杆,其他项目随后 ​​​​
3月开始,我司审稿组分成多个小组,并行微调三个模型,今天之前的两三周 踩了各种坑 排查了各种问题,始终没调成功

结果今天一天全齐活了
上午 apple把llama2 70B调通,5K数据
下午 不染把mixtral 8x7B调通,1.5K数据
晚上 鸿飞把Mistral instruct 0.2调通,1.5K数据
...展开全文c
70b还是要强过7b的,5K的数据打平7b用15K的数据,😃

​过两天看15K数据之下 70b能强过7b多少 ​​​​
修订「并行训练」这篇笔记的一些细节

很小的细节都能提高一篇文章的可读性,比如换行 标色 加粗 下划线 文图对应等等,😃 ​​​​
大模型时代之前,博客内影响力最大的六篇文章是:SVM、RNN/LSTM、CNN、KMP、微软面试100题、海量数据处理面试题

如今大模型时代,博客内影响力最大的六篇文章暂:transformer解析、ChatGPT原理、论文审稿GPT系列、知识库问答、sora全面解析、mamba解析 ​​​​
还没放出来么,我白天也确认下.. //@大葱一打:但是32k上下文的还没放出来,只是在x上面放出了基础模型,Hugging face 暂时是更新README。
Mistral真是骚操作啊,去年10月 就发了7b第一个版本,和7b-instruct-0.1
再后来(即大概三个月之前) 他们推出了7b-instruct-0.2
然后现在(大约3h之前) 推出了7b-0.2版本

同时把之前的7b-instruct-0.2 基于7b-0.2 升级了下,升级之后还是叫7b-instruct-0.2,但上下文窗口从升级之前的8K到了现在的32K了 ​​​​
3月24日 23:10 来自 Xiaomi MIX 4 已编辑
现在大部分学生都落后了(也不能怪学生,是学校和老师这一两年落后太多了)
那十几个能到项目组的只有两个是研究生,其他都是有工作经验的

注意,我只指的大部分学生,小部分学生 始终优秀 ​​​​
因为把mamba的所有关键细节我都写清楚了,所以刚才论文100课上讲mamba时,我没有任何卡壳,努力不断更好
应该是全网关于mamba最好懂的一篇了,《一文通透想颠覆Transformer的Mamba:从SSM、HiPPO、S4到Mamba》O网页链接

顺带发现Google抓的真快(搜mamba模型,已排第一) ​​​​
简言之,Mistral AI推出了他们7b base模型的第二个版本了,即Mistral-7b-0.2,上下文长度32k,国内应该马上就会出来各种新闻稿了
Mistral真是骚操作啊,去年10月 就发了7b第一个版本,和7b-instruct-0.1
再后来(即大概三个月之前) 他们推出了7b-instruct-0.2
然后现在(大约3h之前) 推出了7b-0.2版本

同时把之前的7b-instruct-0.2 基于7b-0.2 升级了下,升级之后还是叫7b-instruct-0.2,但上下文窗口从升级之前的8K到了现在的32K了 ​​​​

正在加载中,请稍候...