← 返回课程库
Runnable starter
注意力与 RoPE · NumPy 可运行练习
实现缩放点积注意力、因果掩码与二维 RoPE，并用小张量测试 shape、概率和和未来信息泄漏。
环境
Python 3.11+、NumPy 1.26+
文件
运行与验收
python -m pip install -r requirements.txt
python -m unittest -v test_attention.py先确保测试通过，再修改输入、增加失败案例，并把运行输出保留在自己的实验记录中。