안지수 @git_jisu

Everyone says learn inference, learn CUDA,learn ML But almost nobody tells you exactly what to learn, how to learn it, or how to know whether you’ve actually learned it. Introducing Trentorch.com a free, open-source platform to learn and practice Machine Learning, CUDA, and inference through hands-on coding. Instead of just watching lectures or reading theory, you’ll: • Learn the theory behind each concept • Follow step-by-step implementation examples • Solve coding challenges based on what you learned • Implement algorithms from scratch, from foundational ML to Inference and CUDA kernel • Practice problems in a Codeforces-style environment • Get new Problem of the Day challenges with ratings The goal isn't just to teach you how to write the code. It’s to help you understand what your code is actually doing underneath. We’re building Trentorch because advanced education shouldn’t be locked behind expensive subscriptions. Money shouldn’t be the barrier to learning ML, inference, or CUDA. A free alternative to platforms that charge students heavily every month. signup and start solving problems now Trentorch.com

𝗔 𝗙𝗶𝗿𝘀𝘁 𝗖𝗼𝘂𝗿𝘀𝗲 𝗶𝗻 𝗖𝗮𝘂𝘀𝗮𝗹 𝗜𝗻𝗳𝗲𝗿𝗲𝗻𝗰𝗲（免费490页教材） 作者Peng Ding，UC Berkeley统计系教授，这本书是他教了七年因果推断课的讲义整理，对应本科生的Stat 156和研究生的Stat 256两门课，所以内容只要求概率论、统计推断、线性和逻辑回归的基础，本科生也能啃。 开篇从Yule-Simpson悖论讲起，先講相关和因果的界限，再往下铺开识别、估计、纵向数据这些内容。配套R代码和数据集放在Harvard Dataverse上，CC BY 4.0协议免费下载。 想再补一本参考书的话，Kirk Borne同时推荐了Judea Pearl的《Causal Inference in Statistics: A Primer》，两本一起看，一本教怎么做，一本讲为什么这么想。 链接：arxiv.org/abs/2305.18793

GPT-6 Astra scored 95% on a robot control task, up from Fable 5.1's 40%, with 6.2x fewer output tokens at 2.3x lower cost. 🧵

GPT-6 does real2sim end to end from robot demonstrations. I gave it only multi-view RGB and robot actions, and one simple prompt. It calibrated the cameras, built the object assets, performed physics system-ID, ran MuJoCo, and rendered in Blender.

Found a genuinely useful repo for anyone writing ML papers.@ChenLiu_1996 A Yale CS PhD shared the Python scripts behind figures from Nature Machine Intelligence, ICML, NeurIPS, and ECCV. Maybe I can finally stop spending half my research life moving matplotlib legends by 3 pixels. github.com/ChenLiu-1996/f…

Why some generative models take 100s of steps and others take only a few. x.com/i/article/2093…

剑桥这回直接扔王炸了！！ AI & ML经典教材全集直接免费开放，PDF随便下。 想学机器学习又不想被割韭菜买高价课的，这十本刷完，底子基本就硬了。 顺序从易到难排好了： 1️⃣ 《机器学习理解》——理论算法一把抓，零基础入门首选 🔗 cs.huji.ac.il/~shais/Underst… 2️⃣ 《机器学习数学基础》——数学底子弱的先把这本补上 🔗 mml-book.github.io/book/mml-book.… 3️⃣ 《机器学习算法的数学分析》——深入数学原理 🔗 tongzhang-ml.org/lt-book/lt-boo… 4️⃣ 《深度学习理论原理》——搞懂DL背后的理论根基 🔗 arxiv.org/pdf/2106.10165 5️⃣ 《神经网络与机器学习》——神经网络的系统讲解 🔗 arxiv.org/pdf/1901.05639 6️⃣ 《图深度学习》——图神经网络入门必读 🔗 yaoma24.github.io/dlg_book/dlg_b… 7️⃣ 《机器学习的算法视角》——从算法角度重新理解ML 🔗 people.csail.mit.edu/moitra/docs/bo… 8️⃣ 《概率论：理论与实例》——概率基础打牢 🔗 sites.math.duke.edu/~rtd/PTE/PTE5_… 9️⃣ 《应用概率基础》——概率论实战应用 🔗 sites.math.duke.edu/~rtd/EP4A/EP4A… 🔟 《高级数据分析》——数据科学进阶必备 🔗 stat.cmu.edu/~cshalizi/ADAf… 说句实话，这些书没一本是轻松的，别指望躺着翻完。 但只要你能硬啃下来两三本，比听群里吹一年AI牛逼都管用。

Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板 结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模型在这些维度上几乎一模一样 讲师的原话 - 2024 年大家都在 cosplay Llama2 - 2025 年的主题是「怎么训得不崩」 - 2026 年的主题是「怎么扛住长上下文」 下面是 2026 年开源 LLM 的标准模板 你训自己的模型可以直接抄 【架构层 已经收敛的 7 件事】 1）Layer Norm 挪出残差流（pre-norm） 原版 Transformer 把 LN 放在残差里 几乎所有现代模型都挪到外面 原因：keep your residual stream clean 梯度反传更稳 2）RMS Norm 替代 LayerNorm LayerNorm 的减均值 + 加 bias 那部分实际没怎么帮上忙 丢掉之后 flops 只省 0.17% 但运行时省到 25% （瓶颈在数据搬运 计算反而次要） 3）所有 bias 项全删 跟 RMS Norm 一个道理 系统层省内存搬运 4）激活函数用 SwiGLU 或 GeGLU gated linear unit 几乎所有现代模型都用 Llama 系 / Qwen / Mistral 用 SwiGLU Google 系（Gemma / T5）用 GeGLU 区别极小 选哪个都行 5）位置编码用 RoPE 2024 年之后基本统一了 原理：把每对维度按位置旋转一个角度 让 inner product 只依赖相对位置 6）Transformer block 串联（不是并联） GPT-J / Palm 试过并联 现在基本被放弃 串联的实现优化得太好了 并联省的那点系统开销不值得损失表达力 7）Layer norm 可以「撒」 哪儿不稳就在哪儿加 LN attention 之前能加 之后能加 两边都加（double norm）也可以 现代模型很多这样做 【超参数 已经收敛的 5 个数】 1）feedforward 维度 / hidden 维度 - 非 GLU 模型：4 倍 - GLU 模型：8/3 ≈ 2.67 倍（因为 GLU 多一组矩阵 要保持总参数量） - Llama 系：3.5 倍 - T5 1.0 试过 64 倍 后来 T5 1.1 改回标准 别学 2）head 数 × head 维度 ≈ hidden 维度 几乎所有模型都遵守 T5 是为数不多的例外 3）模型纵横比（hidden / 层数）≈ 100 太深 pipeline parallel 难做 太宽 表达力受限 100 这个数字是系统约束 + 表达力的平衡点 4）vocab size 单语模型：30K 左右（早期 GPT-2 那种） 多语 / 通用模型：100K-200K（GPT-4 / Llama 3 / Gemma 都在这个范围） 现代基本都是后者 5）weight decay 仍然普遍使用 但研究发现它在 LLM 里干的事其实是优化器干预 让你最终能收敛到更深的最优点 跟你想的「防过拟合」没什么关系 所以别因为「单 epoch 不会过拟合」就把它关掉 【稳定性 三个救命 trick】 训练大模型最怕中途 loss 突然飙升 然后 NaN 全军覆没 现代模型用三个 trick 防这件事 1）Z-loss output softmax 的 normalizer 容易爆 加一个 (log Z)² 的正则项 让 Z 始终接近 1 DCLM / Olmo 都用 2）QK norm attention 的 Q 和 K 在矩阵乘之前各加一个 LN 让 softmax 的输入永远是单位尺度 multimodal 圈先用起来 现在所有大模型都加 3）Logit soft cap（仅 Google 系） attention logit 用 tanh 硬封顶 Gemma 2/3/4 都在用 但会损失一点点性能 慎用 【Attention 两个新趋势】 1）GQA（Grouped Query Attention）几乎统一 原版 multi-head 推理时 KV cache 会让算术强度崩到 1/h GQA 共享 K 和 V 但保留多个 Q 表达力几乎不损失 推理成本砍掉 80% 现在所有要做生产部署的大模型 没有不用 GQA 的 2）局部 + 全局 attention 交替 处理长上下文的新方式 Cohere Command A 起头 现在 Llama 4 / Gemma 4 / Olmo 3 全在用 比如每 4 层有 1 层 full attention 其他 3 层是 sliding window 只看附近的 token 比纯 SSM 更稳 比纯 full attention 便宜得多 （Qwen 3.5 做了变体 把 sliding window 那 3 层换成 SSM） 收尾一句 如果你正在训自己的 LLM，上面这一套就是 2026 年的「默认配置」 不需要重新发明，直接抄 如果你只是想看懂 GitHub 上那些 modeling_xxx.py 这一份足够你不再被术语吓住

Roan @RohOnChain

5 months ago

Anthropic pays $750,000+ a year for engineers who can build LLM architectures from scratch. Stanford taught the entire thing in 1 hour lecture & released it for free. Bookmark & watch this today before someone takes it down.

115 2K 10K 2.6M 20K

This 40 minute lecture from Peter Thiel at Stanford will teach you more about business competition than a 2 year MBA program

We’re now having ‘#brizzi Launching Promotion’! You can have a chance to get ‘SILVER PASS’ by participating in the event below. Event Period: May 19 ~ May 31 Details on bit.ly/3wAJi0V

@keroz_official @pks3094 @ayk6413 @dks9467 성공기원

⚔️2nd Whitelist Event Open🛡️ 🏆 2nd Whitelist Event Benefits are: 💝NFT 20, WL 1,000💝 📌Complete the mission below! Click the link below to participate the event: whitelist.kerozgame.com #airdrop #giveaways #NFT #P2E #KEROZ #land #gamefi #NFTCommumity #event

@p2eall @keroz_official @pks3094 @ayk6314 @dks9467 응원합니다

p2eAll x KEROZ Partnership Celebration Event!🍾🍾 🎁Get! [KEROZ AIRDROP & WL-🚀🚀] 1️⃣Follow @p2eall @keroz_official 2️⃣LIKE & RT & TAG 3 Friends 3️⃣Submit Form bit.ly/3LvQGiT

🎉Blockchain-based P&E RPG game KEROZ! start the 1st whitelist event! 🎉 To participate click the link👇 gleam.io/EWjod/keroz-1s… #KEROZ #NFT #P2E #klaytn #NFTGiveaways #airdrop #event #Giveaway

@HappierTown @ak7270 @pks3094 @dks9467

@TheSoldiers_KR @ak7270 @pks3094 @dks9467 응원합니다

솔저스 골드코인 (TSG) LBANK 상장 support.lbank.site/hc/zh-cn/artic… x.com/LBank_Exchange… LBANK는 글로벌 거래소로 거래소 순위 26위에 랭크 되있지 말입니다. (coinmarketcap 기준) 거래소 상장일은 28일이며 28일에 퍼블릭 진행하지 말입니다.

LBank.com @LBank_Exchange

4 years ago

🏹 New #listing 🪐 $TSG(The Soldiers Gold) will be listed on LBank! @TheSoldiers_KR The Soldiers NFT was issued based on Klaytn and is a military concept project with a total of 10,000 NFTs issued. ➡️ Details: bit.ly/3vAqCfZ

64 62 80 0 0

@MetaCats_club "구혜선 카드아트 NFT 성공" @PKS3094 @AJS7270 @DKS9467 @jj_o__o @YETKIEU

🌈구혜선 카드아트NFT 첫 에어드랍 EVENT🌈 1. 참석대상: 누구나(~2/19) 2. 방법 1) 카톡방 입장(open.kakao.com/o/gyVpsOTd) 2) 텔레방 입장(t.me/metacats) 3) 리트윗, 팔로, 댓글@친구태그 5명이상 (태그 숫자 많을수록 당첨확률 UP! UP!) 3. 총 5분 2/19일 당첨자 발표 & 지급 #에어드랍

keyboard_arrow_left Previous keyboard_arrow_right Next