转码日记
共 44 篇文章
学习day25：
暂无摘要...
未学习day24：计划赶不上变化，又摆一天
暂无摘要...
转码Day 23：
暂无摘要...
转码Day 22：感冒身体不适，今日看文档
lc：31 感冒了，一天擤鼻涕用了大半包抽纸，很难受，老是想打哈欠打不出来，而且头晕口干舌燥的，还有好几个口腔溃疡没好，也不知道过年前能不能好。 今日学习内容 去挖了一下苏剑林大佬的blog，学到了很多东西。 在RoPE中频率的计算公式为θi=b^(−2i/d)，底数b默认值为10000. 目前Lo
转码 Day 21：
lc：39、23 MLA在干嘛 先生成一个“公共内容向量“ $c_t^{KV}=W^{DKV}h_t$ 所有 head 共享 维度较小（低秩） 这是唯一需要缓存的大块 KV 内容 每个 head 的 K/V 都从它“展开” $[k_{t,1}^C,\ldots,k_{t,n_h}^C] = W^{U
转码 Day 20：
暂无摘要...
转码 Day 19：
暂无摘要...
转码 Day 17：对比实验与评估
暂无摘要...
转码day16：完成了qwen lora微调分类项目
暂无摘要...
转码day15：colab收尾
暂无摘要...