libinyam @libinyaminAI

看了一下邓煜老师的访谈，大概是这样的观点：数学家未来应当跟AI协作，人类输出自己的观点给AI，AI 产生观点，人类再从AI的想法里面获取有用的信息，相辅相成。在我看来，这种AI协作式的方法肯定极大的提高了数学家的效率，也避免了OpenAI那种生成一大堆ai屎山论文。Anthropic现在就一直在采取这种ai协作方式，都是由数学家使用ai进行解决问题。

Yu Deng: Human and AI are co-evolving By learning from humans, AI generates new ideas that researchers can learn from and build upon—creating a co-evolving relationship between human intelligence and artificial intelligence.

1 3 25 1K 2

0 0 2 109 0

View Details

libinyam @libinyaminAI

2 days ago

@olive_jy_song Congratulations!

0 0 0 30 0

View Details

libinyam @libinyaminAI

3 days ago

@Jianlin_S 写的确实挺好的，对数学系学生真的很友好，数学推导读起来很舒服。

0 0 0 1K 0

View Details

libinyam @libinyaminAI

3 days ago

苏剑林老师的这篇文章，让数学系本科生的我读起来真的非常舒服，我大概再讲一下里面的内容吧。首先呢，就是一个比较直接的问题，之前的众所周知的Softmax Attention是离散形式的。那么我们能不能去类比一下，数学分析里面的积分和离散求和互相转化，微分方程与其离散形式互相转化这类的问题？于是呢，就提出了这么样一个连续化的想法。就是把求和转化成积分形式。然后需要做一点点小处理吧，就是把积分变量转化为差值变量，这个也是数学上比较经典的操作了。到了计算的部分了，其实前面的计算都是比较简单的代入，第一个关键点就是注意到这个恒等式，到了画红框的这一步就可以直接简化式子。最后经过整理，就会得到图3这样的形式。你会发现，它相比原来的Softmax Attention，会多出来一个扰动向，也就是这个bi。bi现在是分三段，你对中间那一段进行泰勒展开，然后估计可得，它其实相当于aij的二阶差分。（形式上面来讲）。本质上我认为就是相当于一个高阶的渐近估计，类似皮亚诺余项。最后呢，苏老师做实验发现这个还是并不能取代Rope的。但是呢，它在前期会比离散化的收敛得更好。但是到结束时，它们其实相差不大。

jianlin.su @Jianlin_S

3 days ago

Continuous Softmax Attention kexue.fm/archives/11980

7 34 298 23K 245

0 0 2 157 0

View Details

libinyam @libinyaminAI

3 days ago

@xiax0603 大家现在都在卷DeepSWE了... 但是这个benchmark含金量却越来越低

0 0 0 15 0

View Details

libinyam @libinyaminAI

3 days ago

美国国土安全部下令禁止使用DeepSeek产品了。所有联邦民事行政机构立即禁止采购 DeepSeek 及其关联实体的任何软硬件、技术服务，并直接移出合格供应商列表。现存所有 IT 系统中，必须立即拆除/清理所有 DeepSeek 原生产品、关联实体产品，以及使用 DeepSeek 技术实现构建的任何第三方产品与服务。封禁理由如下： 1.供应链与数据安全风险，称 DeepSeek 服务器在中国境内，法律层面存在被调取数据的可能； 2.用户提问和账号生成可能收集敏感信息/PII，从而向美国境外传输情报； 3.提到了部分开源研究报告称其 iOS App 存在安全漏洞。 DeepSeek这样的开源模型也会被打上风险标签吗？？？看来DeepSeek确实很强啊，被美国官方认可了hhh