pd.org

#+LaTeX_CLASS_options: [aspectratio=169,ignorenonframetext]
#+OPTIONS: H:2 num:t toc:nil \n:nil @:t ::t |:t ^:t -:t f:t *:t <:t author:nil
#+OPTIONS: TeX:t LaTeX:t skip:nil d:nil todo:t pri:nil tags:not-in-toc
#+sTARTUP: beamer
#+LATEX_HEADER: \usepackage{ascmac}
# ctex 必须在 ascmac 的后面，否则会出现 ybaselineshift 无定义问题。
#+LATEX_HEADER: \usepackage[UTF8]{ctex}
#+LATEX_HEADER: \usepackage[subrefformat=parens]{subcaption}
#+LATEX_HEADER: \usepackage{siunitx}
#+LATEX_HEADER: \usepackage{animate}
#+LATEX_HEADER: \usepackage{mathtools}
#+latex_HEADER: \usepackage[version=3]{mhchem}
#+latex_HEADER: \usepackage{mathrsfs}
#+latex_HEADER: \usepackage{wasysym}
#+LATEX_HEADER: \usepackage{braket}
#+latex_HEADER: \usepackage{tipa}
#+LATEX_HEADER: \usepackage{fontspec}
#+LATEX_HEADER: \usepackage{cancel}
#+LATEX_HEADER: \usepackage{amsmath}
#+LATEX_HEADER: \usepackage{amssymb,bm}
#+BEAMER_HEADER: \usepackage{xcolor}
#+LaTeX_HEADER: \setmonofont{Liberation Mono}
#+BEAMER_HEADER: \usepackage{appendixnumberbeamer}
#+LaTeX_HEADER: \usepackage{tikz,tikz-3dplot}
#+LaTeX_HEADER: \usetikzlibrary{decorations.pathreplacing}
#+BEAMER_HEADER: \usetikzlibrary{arrows.meta,backgrounds,ext.paths.ortho,ext.positioning-plus,ext.node-families.shapes.geometric,calc}
#+LaTeX_HEADER: \setCJKsansfont{Noto Sans CJK SC}
#+LaTeX_HEADER: \setbeamercovered{dynamic}
#+LaTeX_HEADER: \DeclareMathOperator{\Tr}{Tr}
#+LaTeX_HEADER: \DeclareMathOperator{\Var}{Var}
#+LaTeX_HEADER: \DeclareMathOperator{\tr}{tr}
#+LaTeX_HEADER: \DeclareMathOperator{\MSE}{MSE}
#+LaTeX_HEADER: \DeclareMathOperator{\Cov}{Cov}
#+LaTeX_HEADER: \DeclareMathOperator{\Exp}{Exp}
#+LaTeX_HEADER: \DeclareMathOperator{\Beta}{Beta}
#+LaTeX_HEADER: \DeclareMathOperator{\E}{E}
#+LaTeX_HEADER: \DeclareMathOperator{\D}{D}
#+LaTeX_HEADER: \DeclareMathOperator{\Ga}{Ga}
#+LaTeX_HEADER: \DeclareMathOperator{\Be}{Be}
#+LaTeX_HEADER: \DeclareMathOperator{\erf}{erf}

#+PROPERTY: header-args :eval never-export :exports both
#+PROPERTY: header-args:dot :eval yes :cmdline -Kdot -Tpdf :exports results

#+name: savefig
#+begin_src python :var figname="plot.pdf" width=5 height=4 :exports none
  return f"""fig = plt.gcf()
  fig.set_size_inches(w={width}, h={height})
  plt.savefig('{figname}')
  plt.clf()
  '{figname}'"""
#+end_src

#+name: largefig
#+begin_src python :var dpi=100 :exports none
fig, ax = plt.subplots()
fig.set_dpi({dpi})
#+end_src

* 总论
:PROPERTIES:
:EXPORT_FILE_NAME: p0
:EXPORT_DATE: 2025-06-23 清华
:EXPORT_BEAMER_HEADER+: \author{续本达}
:EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
:EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
:EXPORT_BEAMER_THEME: Hannover
:EXPORT_BEAMER_FONT_THEME: professionalfonts
:END:
** 认识大家
*** 自我介绍
- 2005-2009 :: 在数理基科学习 （科协）
- 2009-2018 :: 在日本神冈地下实验室，学习研究中微子和暗物质
- 2018-至今 :: 在工程物理系近代物理研究所任教

- 主要工作：锦屏中微子实验
- 合作研究
  1. JUNO 江门中微子实验
  2. 日本 SuperK 超级神冈实验
- 研究兴趣：中微子质量、核子衰变、地球中微子
- 爱好：大数据分析、高性能计算、系统架构运维

*** 教学团队
**** 助教
#+attr_beamer: :overlay <+->
- 王宇逸 :: 物理系本科毕业，工物系博士生
- 武益阳 :: 物理系本科毕业，工物系博士生
- 徐闯 :: 工物系本科毕业、工物系博士生
- 郝传晖 :: 物理系本科毕业，工物系博士生
- 刘逸祺 :: 工物系本科毕业、工物系博士生
- 胡宇阳 :: 工物系本科毕业、工物系准博士生
- 温欣洋 :: 工物系本科毕业、物理系准博士生
- 张珺铫 :: 物理系本科生（物理系科协）
- 何宇峰 :: 工物系本科生（工物系科协）
- 杨哲涵 :: 工物系本科生（工物系科协）
- 刘骥安 :: 工物系本科生
*** 教学团队（续）
**** 顾问
- 陈晟祺 :: 计算机系本科毕业、计算机系博士生
- 翁俊 :: 工物系本科毕业、工物系博士生
**** 小助教
- 请踊跃报名。
**** 算力支持
物理系科协（somnia）、工物系科协（cat）
** 为什么
*** 我为什么在这里？
#+beamer: \pause
**** 培养方案要求？
+ 本课程的“性价比很低”！（由某巨佬结课后评价道）
***** 班主任的观察 :B_block:
:PROPERTIES:
:BEAMER_env: block
:END:
（学长）每年都劝退（学弟学妹），每年都劝不住……然后劝不住的学完开始劝退下一届

#+beamer: \pause
**** 听说这门课讲 Python？
- 现在猴子都会 Python，我不会的话会很焦虑

*** “实验物理”和“大数据方法”哪个更重要
#+beamer: \pause
- 课程名的中心语在“大数据方法”，所以后者重要？
- 服务于“实验物理”，所以前者重要？
- 思考：如果两者去掉其一，你能否接受？
#+beamer: \pause
**** 形式逻辑与实验同等重要
- 计算机是形式逻辑演绎机，计算机的原理植根于逻辑。

***** 爱因斯坦 1953 给 J.S.Switzer 的信                             :B_block:
:PROPERTIES:
:BEAMER_env: block
:END:
西方科学的发展是以两个伟大的成就为基础：希腊哲学家发明形式逻辑体系(在欧几里得几何中)，以及(在文艺复兴时期)发现通过系统的实验可能找出因果关系。

*** 释义
**** 什么是“实验物理”                                        :B_exampleblock:
:PROPERTIES:
:BEAMER_env: exampleblock
:END:

- 一切费电的物理！

  “理论学家费纸，实验学家费电，理论实验物理学家费米”

  - 欧洲核子中心(CERN)一年用电约 \SI{1.3}{\tera\watt\hour}。

    北京东城区西城区2016年用电总量 \SI{10.1}{\tera\watt\hour}，人口 200 万。
#+beamer: \pause
- 观察物理现象的学科
  - 控制物理现象发生的环境？是 \to “实验”(狭义)；否 \to “观测”。
  - 实验物理的目标：发现物理规律，包括测量物理常数。

    从取得的数据出发，进行统计推断，证伪物理规律的假设。

**** 什么是“大数据”

商业概念。“大”是相对的，大数据是指无法用一台计算机处理的数据。

*** 逻辑电路的起源
- 盖革计数器，电离辐射通过时给出脉冲信号
- 真空管：源于阴极射线管。

**** 宇宙射线的发现
Bothe-Kolhoerster 实验 (Bothe 1954 诺贝尔物理奖)
#+attr_latex: :width 0.5\textwidth
[[./fig/Bothe-Kolhoerster_Coincidences-between-counters.png]]

- 用“符合”的方法发现了宇宙射线，证明并为高能带电粒子。

*** 真空三极管的出现与应用
#+attr_latex: :width 0.8\textwidth
[[./fig/Rossis-coincidence-circuit.png]]

- Rossi 盖革计数器与真空三极管组合，形成宇宙射线的测量逻辑。

*** 实验物理与计算机
- 需要构造：顶端探测器无计数，中间有计数的逻辑
  - 真空电子管“与”、“或”、“非”等逻辑门出现
  - 真空电子管通用电子计算机：ENIAC （1945）
- 中子和辐射输运问题
  - 第一代电子计算机大多用来进行 Metropolis Monte Carlo 算法
  - 模拟预测氢弹中的输运过程
- 半导体逻辑电路
  - 晶体管替代真空电子管
  - 计算机功耗和体积大幅减小
- Monte Carlo 算法成为大型物理实验设计的一部分
*** 计算历史：大型机
#+Attr_LaTeX: :height 0.7\textheight
[[./fig/main-frame.jpg]]

- 一台大型计算机，用户通过终端 (Terminal) 连接

*** 计算历史：个人计算机
- 1981年

#+Attr_LaTeX: :height 0.7\textheight
[[./fig/ibm-pc.jpg]]

*** 计算历史：个人计算机组成集群
- 1990s 个人计算机组成集群 "beowulf"

  #+Attr_LaTeX: :height 0.65\textheight
  [[./fig/computer-cluster.jpg]]

*** 高性能计算与超级计算机
#+attr_latex: :height 6cm
[[./fig/supercomputer.jpg]]

- 更大的计算机集群，优化节点间的通信，共享存储。
- 软件环境如何配置？
*** 大物理与大数据
- 大型物理实验，产生大数据，多台计算机协同工作：分布式计算。
- 跨地理的分布式计算称为“网格”(grid)，在早期促进和影响了互联网的发
  展。

  - FAST 天眼：每年@@latex:$\SI{\sim 1}{\peta B} = \SI{1e15}{B}$@@。
  - JUNO 江门中微子实验：每年 \(\SI{\sim 2}{\peta B}\) 。

- CERN 在 90 年代决定使用 Intel 民用计算机组成的集群来完成 LHC 的计
  算任务，是个人电脑级硬件集群成为科学计算主流的标志。

  - X86(Intel 和 AMD) 计算集群是当今大数据工业界的主流配置。

- 近年来，大数据方法独立于实验物理，被工业界广泛采用，与神经网络结
  合，催生了“深度神经网络”，或“深度学习”。

  - 一系列新方法被应用到实验物理。
*** 此课在知识体系中的地位
- 这是一个数据的时代。
- 数据时代需要 *黑客技术* Hacking Skills、 *数理统计* Math & Statistics Knowledge 、 *专业知识* Substantive Expertise 等多方面技能。

#+Attr_LaTeX: :height 0.65\textheight
[[./fig/Data_Science_VD-r1.pdf]]
*** 技能树
#+Attr_LaTeX: :height 0.4\textheight
[[./fig/Data_Science_VD.png]]

1. 本课程目标为数理大类的同学补齐 *黑客技术* 。
2. 警惕 *Danger Zone!* 。
   - 黑客技术 :: 人类掌握工具的最高水平
   - 数学与统计 :: 人类理性思维的最高水平，欢迎选修《概率统计分析及量测技术》
3. *专业知识* 根据自己的兴趣选择。
   - 物理学的思维方式和实践方法是一切专业知识的标杆。
4. 本科时代要积极认真学习以上硬知识。
*** 物理学是“硬科学”
以知识的量化程度排序：

#+attr_beamer: :overlay <+->
- 0类学科：努力区分偶然统计关联和因果关系

  - 到底哪些是决定性因素？

  - X基因决定了此性状，Y基因决定了此性状？XY一起决定？
  - $X \bar{Y}$ ， $\bar{X} Y$ ？

- 1类学科：努力确认变量之间影响的趋势

  - “房价加速增长的势头得到遏制”

- A类学科：努力算出具体的数字

  - 地球的年龄是46亿年，45--47亿年，还是 46--48 亿年？

- Z类学科：没有不确定度的结果不是科学结论！
 
  - 电子磁矩，以玻尔磁子 $\mu_B$ 为单位

    \[ g/2 = 1.001 159 652 180 73 (28) \]

    Ref: Phys.Rev.Lett.100:120801,2008
** 课程概论
*** 数据分析的指导原则

#+attr_beamer: :overlay <+->
- “复现”原则 :: 以人类语言和计算机语言的形式，详细记录每一步计算。

   这是科学的基本精神，与可证伪性一起，是区分科学与伪科学的标志。

- “透明”原则 :: 每一步的数据都应尽量可以被人类直接阅读，比如 JSON, CSV。如果不得
   不用二进制模式，一定是使用最普遍最开放的格式，比如 HDF5。

- “一次”原则 :: Single Point of Truth, Don't Repeat Yourself. 不可在分析做任何
   重复，任何有意义的信息都应该被共享。

- “最佳工具”原则 :: 尽量使用高级语言和语法糖，为每个子任务选择合适的工具。只有在性能
   分析之后，才在必要时使用低级语言进行性能加速。

   - 最佳工具会随时间变化，因此课程名不是 +Python 数据处理与科学计算+
   - 推论：入手研究之前，应当优先调研现有工具。

*** 课程内容
    - 以实验物理为主题，学习大数据方法的基础。
      1. 理解数据的科学精神，从一开始养成良好的科研习惯
      2. 掌握典型工具 Git, Python 和常用命令行工具，鼓励自学
      3. 培养工具的品位，针对具体场景选择合适的工具
#+beamer: \pause
**** 计划安排
- 实验物理的大数据方法(1) 五教 5103
  - 第一周 :: Git，Python 基础
  - 第二周 :: Python 科学计算与可视化
- 实验物理的大数据方法(2) 五教 5203
  - 第三周 :: 数据处理的命令行工具
  - 第四周 :: 基于关系代数的数据组织
- 答疑：课后 4:55--5:30
*** 课程评估 按百分制记分 录入成绩时映射为等级
**** 平时作业 62%
- 覆盖课堂学习的知识要点
  - 平时作业中的 80% 为黑盒测试，20% 为白盒测试。
  - 白盒测试重点考察：Git commit 的内容必须有意义，程序书写规范
**** 大作业 30%
- 取材自中微子实验物理的真实场景。也可以由同学自行提出。
  - 分两个阶段，对应前两周“生成”和后两周“分析”，互为逆过程。
**** 捌分 8%
- 小助教(A)，贡献 FAQ 内容(B)，审校讲义内容(C)，课堂贡献(D)，娱乐作业(E)
- 计入总评 \( \min(8, \sqrt{A^2 + B^2 + C^2 + D^2 + E^2}) \)
*** 教材
- 自编讲义：《实验物理的大数据方法》
**** 参考资料
- 往年课程录像：http://hep.tsinghua.edu.cn/~orv/teaching/physics-data/
**** 辅助资料
- Allen Downey, Think Python 2e
- Fernando Perez et al., Scipy Lecture Notes
- Jeroen Janssens, Data Science at the Command Line
- David MacKay, Information Theory, Inference, and Learning Algorithms
- https://learnxinyminutes.com/ 从已经有编程基础迅速入门 Python。
*** 有智慧地提问
- 遇到困难多求助
  - 特别是那些可以把人“卡住”的“小”问题。一定不要自己扛，及时求助：
    老师、助教、小助教。
  - 学长忠告 +不要问我是怎么知道的系列+
    #+beamer: \pause
    - 不要用某度，用 Google 或 Bing 海外版
    - 以 CSDN 为代表的中文网站 99% 的信息都是错的（或过时的）
    - stackexchange 系列英文网站 70% 信息可信，其它英文网站 50% 可信
    - 官方文档 100% 可信
    - 综合多种信息来源，作出自己的判断，不要轻信小学生博主。
#+beamer: \pause
**** [[http://www.catb.org/~esr/faqs/smart-questions.html][求助时要有智慧]] 作者 Eric Raymond
- 原则：让他人以最小的努力复现出你的问题
  1. 不要这样说话： +救命! 我的程序坏了！哪位大神快来帮帮我！急！在线等！哭了！+
  2. 使用最简洁的语言，借助最简单的例子描述问题
    
- 原则：努力让你的问题使更多的人受益
  1. 非隐私问题，尽可能公开提问，公开讨论。 _不要私信_
*** 如何使用 Gitlab 提问和解答
- issue （议题）
  + 创建要讨论的问题；
  + 注意指定 issue 的负责人。
**** GitLab issue
    - https://git.tsinghua.edu.cn/physics-data/faq/-/issues/
    - https://git.tsinghua.edu.cn/physics-data/lecture/-/issues

    - 创建 issue
      - 标题：概括问题
      - 正文：详细描述问题
        1. 给出复现问题的方法，提供 _最小可复现单元_
        2. （可选）分析问题，提出可能的解决方法
    - 回复 issue ，参与讨论
    - 关注 issue ，打开 “Notifications”

** 计算环境
*** GNU 环境
- POSIX 是 /Portable Operating System Interface/ 的缩写，是关于计算机
  操作系统的国际标准。它规定了操作系统的基本工具和程序接口。

- GNU 是 /GNU is not Unix/ 的缩写，是自由软件运动形成的 POSIX 环境。

- 科学研究中时间和空间跨度都很大，需要使用公开的国际标准化接口，才
  能满足 _复现_ _透明_ 和 _最佳工具_ 原则。

**** 可使用 GNU 环境的操作系统
- GNU/Linux :: 天然大佬。请帮助周围的同学，并自荐小助教。
- Apple macOS :: 使用 =UTM= 虚拟机。
  + 安装 Debian 12
- Microsoft Windows :: 本身不满足，但可以使用以下扩展
  + Windows Subsystem for Linux (WSL)；
  + 安装 Debian 12
- 权威指南：https://physics-data.meow.plus/faq/

*** GNU 环境的基本操作
#+attr_beamer: :overlay <+->
- ls :: list structure, 列出当前路径中的文件
- cd :: change directory, 改变当前路径
- sudo :: 使用管理员权限执行操作
- apt :: Advanced Package Tool 软件管理器
  - =apt update=
  - =apt install nano diffutils patch=
- nano :: 文件编辑器，与 emacs, vi, VSCode 等互换

  - 查找 =^W= 、替换 =^R= 、保存 =^O= 、退出 =^X=

     注： =^W= 代表按住 Ctrl 键，再按 W。
*** 命令参数标准
- GNU 标准定义了推荐的参数格式
- =git config --global user.name "Benda Xu"= 
- 命令的各个部分由 *半角* 空格分隔
  - 不作为分隔符的空格由 *半角* 引号标出
- 短参数：一条短线接一个字母
  - =ls -a=
  - =kill -9 xxxx=
  - =sudo -s=
  - 可以缩写在一起
    - =ls -lrta=
    - =sudo -sE=
- 长参数：两条短线接一个单词
  - =ls --color=tty=
  - =git show --pretty=short --show-signature=
  - 由 GNU 推荐，是在 POSIX 标准之上的扩展
- 更多参数，使用 =man= 查看文档 =man ls=, =man git=
** 学习建议
*** 学术共同体意识
- 我们在一个月的时间里，共同理解物理和逻辑，沉淀下来我们的探索过程
**** 网站的使用
- 收藏夹
**** 邮件
- 客户端
**** 编辑器
***** 程序编辑器三大流派
- Emacs
- Vi
- Visual Studio Code

** 版本控制
*** 版本控制
- “我和同学合写文章，结果他是在昨天的版本上改的！我还得重改！”
**** 发展历史
     #+attr_beamer: :overlay <+->
     - 石器时代 :: =实验报告-v1=, =实验报告-v2=, =实验报告-v2.2=, =实验报告-v2.2-续本达更新20190629= ……
     - 青铜时代 :: diff, patch 文本差分算法
       #+BEGIN_SRC dot :file ./diff-patch.pdf
         digraph dataset {
         bgcolor="#ffffff00"

         { rank = same; B D1 }
         { rank = same; D2 M }

         B [label = "公共版本"]
         D1 [label = "差分1"]
         D2 [label = "差分2"]
         M [label = "合并"]

         B -> D1 [label = "更新第二章"]
         B -> D2 [label = "修改第一章"]

         D1 -> M [label = "修改第一章"]
         D2 -> M [label = "更新第二章"]
         }
       #+END_SRC

       #+Attr_LaTeX: :height 0.35\textheight
       #+RESULTS:
       [[file:./diff-patch.pdf]]
     - 铁器时代 :: 版本控制服务：CVS，SVN
     - 现代 :: 分布式版本控制：Git
*** Git 案例
    “我上周写的程序被不小心覆盖掉了！无法找回之前的版本。”

    #+attr_beamer: :overlay <+->
    - 小强同学经过认真思考和试验，发明了一种巧妙的解决问题方法，并写成
      程序，经验证效果拔群。
      - 小强非常振奋，他把成果记了下来，并继续重构并优化解法。
      - 两个星期之后，他的优化并没有达到预期效果，反而使结果变差。
      - 令他更为懊恼的是，他已经无法达到自己两周之前的高度了，因为忘记
        了改之前的程序是怎么写的。
    - _复现_ 原则被破坏。
    - =解法-20190530.backup= ， =解法-20190608= ？重复存储， _一次_ 原则被破坏。
    - 讨论：你遇到的最难受的问题，如何解决？
*** Git 基础 安装： =apt install git=
    - 使用 Git，养成良好的习惯，就能解决以上问题。
    - Git 由 Linus Torvalds 发明，用来支撑全世界 5000 名以上 Linux 操作
      系统内核开发者的协作。是我们的 _最佳工具_ 。
    #+attr_latex: :height 0.5\textheight
    [[./fig/pro-git_snapshots.png]]
    - 在任意时间我们都可以选择给工作区进行一次“快照”。
    - 相邻快照之间，是代表文件改动的差分量。
*** 例子：撰写讲义
    #+attr_latex: :width 0.7\textwidth
    [[./fig/tig-example.png]]
    - 查看每次提交的改动。工具 =tig= ，可由 =apt install tig= 安装。
*** Git 三种状态
    - 已提交（committed） :: 改动安全保存在数据库中
    - 已修改（modified） :: 自上一次提交，有文件被修改
    - 已暂存（staged） :: 已修改的文件被作了标记，将被包含在下一轮提交中

       [[./fig/git-modes.png]]
*** 作业：Git 练习
    - [X] DONE 你会在 [[https://git.tsinghua.edu.cn][清华 GitLab]] 收到一个新仓库，是今天的作业
    - [X] DONE 设置本地到 [[https://git.tsinghua.edu.cn][清华 GitLab]] 的访问权限
      - [X] 生成 SSH 密钥对
      - [X] 上传到 https://git.tsinghua.edu.cn

    - [X] DONE 同步你的 Git 仓库，输入你的基本信息
      #+BEGIN_EXAMPLE
 我的姓名：
 我的学号：
 我的 Python 版本信息：

 课程感言：
      #+END_EXAMPLE
    - [ ] TODO 查看修改 (diff)，预估得分
    - [ ] TODO 添加修改 (add)，提交 (commit)，推送 (push)
      
*** Git 基本命令
    - diff :: 查看改动
    - status :: 查看状态
    - add :: 添加文件
    - commit :: 提交
    - log :: 查看历史
    - pull :: 从远程下载
    - push :: 推送到远程
    - merge :: 合并分支

**** 内建手册 =man=                                          :B_exampleblock:
     :PROPERTIES:
     :BEAMER_env: exampleblock
     :END:

     命令的具体含义可以参考 =man= 命令，例如，

     #+BEGIN_EXAMPLE
 $ man git add
     #+END_EXAMPLE
*** Git 的状态与命令
    #+BEGIN_SRC dot :file ./git-stages.pdf
      digraph git {
      rankdir="LR";

      C -> M [label = "编辑\ngit diff"]
      C [label = 已提交]
      M [label = 已修改]
      M -> S [label = "git add\ngit reset\ngit rm"]
      S [label = 待提交]
      S -> C [label = "git diff --cached\ngit commit"]
      }
    #+end_src

    #+RESULTS:
    [[file:./git-stages.pdf]]

*** Git 仓库间通信
    #+Attr_LaTeX: :height 0.7\textheight
    [[./fig/git-distributed.png]]

    - 建议：通过 SSH (secure shell) 通信。
*** SSH 通信
   - 通信的认证问题：如何证明我是“我”？
     #+latex: \pause
     - 手机验证码
     - 一次性密码（one-time password，OTP）
     - 用户名密码
     - 非对称加密（银行 U 盾）
   - 生成 SSH 非对称密钥对
     - 一个公钥：公布， =id_rsa.pub=
     - 一个私钥：私密， =id_rsa=
     - 在网页界面把 =id_rsa.pub= 交给 =git.tsinghua.edu.cn=
     - =git.tsinghua.edu.cn= 用我的公钥加密挑战码，只有我的私钥才能解密
       - =git.tsinghua.edu.cn= 知道了我是“我”
       - 我也需要知道它是真的 =git.tsinghua.edu.cn=
     - 建立了与 =git.tsinghua.edu.cn= 的可靠通信


*** 提交说明 commit message
    - =git commit= 时需要输入一段话概括本次 commit 所作的修改
    - 目标：让他人和未来的自己一目了然，只通过读此信息就知道自己做了什么

**** commit 样例
- 不错的例子：“完善了个人信息页面，并填写了课程感言”
- [[https://gitweb.gentoo.org/repo/gentoo.git/commit/?id=78ede4d591c8c16e65e14414389ab9b6a58f21eb][短的]] ，把事情讲清楚，把涉及到的人讲清楚。
- [[https://gitweb.gentoo.org/repo/gentoo.git/commit/?id=71a6a81929f88171feb6e829ff0b87b2ed396d91][较长的]] ，把所有的改动概括清楚。
- [[https://gitweb.gentoo.org/repo/gentoo.git/commit/?id=ed66572a4917c140825ef8cb0a4150bd69296d0c][更长的]] ，在 commit 里说明为什么要这样做，引用相关的讨论。
**** 反例
      1. 数数：1,2,3
      2. 复读：Update,Update,Update
      3. 欺负键盘：aaaaa,wwwww,asdf

    - 不太好的例子：“完成作业”

*** 精心撰写提交说明
    - 说明既要给人类读，也要易于自动处理
    - 第一行：高度概括改动
    - 空一行后，撰写具体改动内容
      - 形式不限，可分段、分要点。
      - 篇幅不限，以描述清楚为目标。
    - 备注：感谢其他贡献者。

**** 何时提交 commit ？
     - 完成一件事，有一个较独立的“版本”：添加一个功能，修复一个问题，
       重构一块代码。
     - 初学者可尝试多提交，可以充分练习 Git 操作，也可以获得更细致的开
       发历史。
       - _不要_ 把多个不相关的修改攒成一次巨大的提交。

*** 来自学长的忠告
**** 作业得分不重要，重要的是优雅地得分
我看到的无意义 commit message 有：“这是一个描述”，“xX”，“1234567899”等等。由于 Git 的特性，后续的提交没有办法覆盖这些无意义的 commit ，所以这个操作在很大程度上是不可逆的。也就是说，批阅作业的助教可以看到这些无意义的提交信息，然后或许会给你的白盒扣上2分。虽然我相信批改作业的助教不会这么残忍，但请一定要有“提交信息要有意义”的意识。

请查看白盒标准：https://physics-data.meow.plus/faq/rules/whitebox/

- 如果想要自己玩一下 Git 的相关操作（强烈推荐这么做，尤其是要学会 add 和 commit 如何取消。我个人对于一个操作是否可逆是有追求的），可以自己在 GitLab 上面创建一个项目练习。

*** Git 与编辑器的整合
**** 禁止使用 Gitlab 网页上传和修改工具
- 远远次于命令行的功能，无推广价值
- 禁止使用，防止养成不良习惯

**** 在命令行调用相应的编辑器
- =git= 会调用 _环境设定_ 的编辑器。临时调整：使用 =EDITOR=xxxxx= 前缀
    + @@latex:\texttt{EDITOR="code --wait"}@@ 见 [[https://git.tsinghua.edu.cn/physics-data/faq/-/issues/88][李禹锋的 issue 88]]
    + @@latex:\texttt{EDITOR="vim"}@@
    + @@latex:\texttt{EDITOR="emacsclient"}@@ 见 [[https://git.tsinghua.edu.cn/physics-data/faq/-/issues/109][黄宇同的 issue 109]]
      
- Debian 上永久调整系统的默认编辑器，管理员权限选择需要的编辑器。
  #+begin_src bash
    update-alternatives --config editor
  #+end_src

- 配置 git 的编辑器：查看文档配置，关键字是 =core.editor=
  #+begin_src bash
    man git config
  #+end_src

*** Git 分支
    参考 https://git-scm.com/book/en/v2/Git-Branching-Basic-Branching-and-Merging
    
    - 一直往 master (或 main) 提交：线性历史
    #+beamer: \pause
    
    - =git branch iss53= 创建新分支，名为 iss53
    - =git switch iss53= 切换至 iss53 分支
    - =git switch --create hotfix= 创建新分支 hotfix 并切换
      
    #+Attr_LaTeX: :height 0.4\textheight
    [[./out/basic-branching-4.pdf]]
    #+begin_export latex
    \vspace{-50pt}
    #+end_export
    
    #+beamer: \pause
    - 从 C2 开始，iss53 与 hotfix 同时推进
      - 都基于 master 的 C2 版本
      - hotfix 新增一个 commit C4
      - iss53 新增 C3
    - 将 iss53 push 到远程: =git push --set-upstream origin iss53=
*** Git 分支的结果：分叉
    - 由于 hotfix 紧迫，hotfix 率先被 master 接受
    #+beamer: \pause
    - =git merge --ff hotfix= 快进合并 (Fast-Forward), 拿来 *原始* 的 hotfix commit (相当于直接在 master 上改动)
    #+Attr_LaTeX: :height 0.35\textheight
    #+Attr_Beamer: :overlay <1>
    [[./out/basic-branching-4.pdf]]
    #+Attr_LaTeX: :height 0.35\textheight
    #+Attr_Beamer: :overlay <2-3>
    [[./out/basic-branching-5.pdf]]
    #+Attr_LaTeX: :height 0.35\textheight
    #+Attr_Beamer: :overlay <4>
    [[./out/basic-branching-6.pdf]]
    #+beamer: \pause
    - 此时 iss53 与 master 产生了 *分叉 (divergence)*, iss53 的原始修改不再能直接搬到 master 的 C4 上 (无法 *ff*)
    #+beamer: \pause
    - =git branch --delete hotfix= 删除不再需要的 hotfix 分支
*** Git merge : 合并 (狭义) I
    - 出现分叉需要合并，[[发展历史][回忆平行四边形法则]]
    - 比较 master 的最新版 (C4) 和 iss53 最新版 (C5) 的差异，取两家之长，处理一次冲突
    #+beamer: \pause
    - 在 master 上 =git merge iss53=
    - 生成一个 Merge commit C6，历史不再线性。
    - master 的开发者负责解决冲突
    #+Attr_LaTeX: :width 0.7\textwidth
    #+Attr_Beamer: :overlay <1>
    [[./out/basic-merging-1.pdf]]
    #+Attr_LaTeX: :width 0.7\textwidth
    #+Attr_Beamer: :overlay <2->
    [[./out/basic-merging-2.pdf]]
*** Git rebase : 换祖先
    - 思考：让 iss53 的祖先从 C2 切换到 C4 不就没有分叉了吗？基于新版的 C4 重新做一遍 iss53 的开发
    #+BEGIN_EXPORT latex
    \begin{center}
    \includegraphics<1>[width=0.7\textwidth]{./out/basic-rebase-1.pdf}
    \includegraphics<2>[width=0.7\textwidth]{./out/basic-rebase-2.pdf}
    \includegraphics<3>[width=0.7\textwidth]{./out/basic-rebase-3.pdf}
    \includegraphics<4>[width=0.7\textwidth]{./out/basic-rebase-4.pdf}
    \includegraphics<5>[width=0.7\textwidth]{./out/basic-rebase-5.pdf}
    \end{center}
    #+END_EXPORT
    
    #+beamer: \pause
    - 在 =iss53= 分支 =git rebase C4= 或 =git rebase master=
    - 基于 C4，将 C3 稍作修改变成 C3'
    #+beamer: \pause
    - 基于 C3'，将 C5 稍作修改变成 C5'
    #+beamer: \pause
    - rebase 修改历史！结束后旧的 =iss53= 历史消失，不要在 =master= rebase！
    #+beamer: \pause
    - =git switch master; git merge --ff iss53= 快进合并。最终合并出 *线性* 历史
    #+beamer: \pause
    - 需要处理 iss53 上所有 commit 的冲突 (C4 vs C3 & C3' vs C5')，但在 iss53 分支上操作
    - =git rebase -i master= 还能允许你进一步修改历史，例如合并 commit、打磨 commit
*** Git 自动冲突处理 I
    - 如果 =C3、C5= 与 =C4= 不干涉 (修改的不是一个文件 or 修改的位置距离较远) 则程序可以自动处理
      
    C4: 补全最后一句的上文 (hotfix):
    #+begin_src diff
       今日中国，强敵环伺，科技卡膀，海疆未靖，幼苗未长，此誠危急存亡之秋也。
       告诉学生們，去修 birkar 的課，交論文，得分最高的，獎一个华为手表。
       概率統計，前十名，北京大學佔八名，清華大學沒有
       做學問一定要在有學問的朋友氛圍中，時時砥礪成長。
       我到落杉机，不熟地方
      -我宣布他已經不是我的學生了
      +已經到了無恥的地步。我宣布他已經不是我的學生了
    #+end_src
*** Git 自动冲突处理 II
    - 如何把 =C3= 修改成 =C3'=? [[发展历史][回忆平行四边形法则]]
    - 如果 =C3、C5= 与 =C4= 不干涉 (修改的不是一个文件 or 修改的位置距离较远) 则程序可以自动处理
      
    C3: 加入“躲在遊戲屋”语录 (iss53):
    #+begin_src diff
       今日中国，强敵环伺，科技卡膀，海疆未靖，幼苗未长，此誠危急存亡之秋也。
      +我們学生躲在遊戲屋，不觉得羞愧？
       告诉学生們，去修 birkar 的課，交論文，得分最高的，獎一个华为手表。
       概率統計，前十名，北京大學佔八名，清華大學沒有
       做學問一定要在有學問的朋友氛圍中，時時砥礪成長。
       我到落杉机，不熟地方
       我宣布他已經不是我的學生了
    #+end_src
*** Git 自动冲突处理 III
    - 如何把 =C3= 修改成 =C3'=? [[发展历史][回忆平行四边形法则]]
    - 如果 =C3、C5= 与 =C4= 不干涉 (修改的不是一个文件 or 修改的位置距离较远) 则程序可以自动处理
      
    C3' (rebase C3 upon C4):
    #+begin_src diff
       今日中国，强敵环伺，科技卡膀，海疆未靖，幼苗未长，此誠危急存亡之秋也。
      +我們学生躲在遊戲屋，不觉得羞愧？
       告诉学生們，去修 birkar 的課，交論文，得分最高的，獎一个华为手表。
       概率統計，前十名，北京大學佔八名，清華大學沒有
       做學問一定要在有學問的朋友氛圍中，時時砥礪成長。
       我到落杉机，不熟地方
       已經到了無恥的地步。我宣布他已經不是我的學生了
    #+end_src
*** Git 手动冲突处理 I
    #+beamer: \vspace{-0.5cm}
    C5: 加一句鼓励的话 (iss53)
    #+begin_src diff
 概率統計，前十名，北京大學佔八名，清華大學沒有
 做學問一定要在有學問的朋友氛圍中，時時砥礪成長。
 我到落杉机，不熟地方
-我宣布他已經不是我的學生了
+你们都比我聪明，只是妄自菲薄而已！
+我宣布他已經不是我的學生了！
    #+end_src
    =git switch iss53; git rebase master=
    #+begin_src text
      Auto-merging record.txt
      CONFLICT (content): Merge conflict in record.txt
      error: could not apply 262ef6c... C5: 加一句鼓励的话
      hint: Resolve all conflicts manually, mark them as resolved with
      hint: "git add/rm <conflicted_files>", then run "git rebase --continue".
      hint: You can instead skip this commit: run "git rebase --skip".
      hint: To abort and get back to the state before "git rebase", run "git rebase --abort".
      Could not apply 262ef6c... C5: 加一句鼓励的话
    #+end_src
*** Git 手动冲突处理 II
    #+begin_src text
    Unmerged paths:
    (use "git restore --staged <file>..." to unstage)
    (use "git add <file>..." to mark resolution)
	    both modified:   record.txt
    #+end_src
    =record.txt=:
    #+begin_src text
      <<<<<<< HEAD
      已經到了無恥的地步。我宣布他已經不是我的學生了
      =======
      你们都比我聪明，只是妄自菲薄而已！
      我宣布他已經不是我的學生了！
      >>>>>>> 262ef6c (C5: 加一句鼓励的话)
    #+end_src
    需要揣摩两个分支作者的意图，最终合并成一个合理的版本：
    #+begin_src text
      你们都比我聪明，只是妄自菲薄而已！
      已經到了無恥的地步。我宣布他已經不是我的學生了！
    #+end_src
*** Git 手动冲突处理 III
    - 处理后 =git add record.txt; git rebase --continue=
    C5' (rebase C5 upon C3'):
    #+begin_src diff
       概率統計，前十名，北京大學佔八名，清華大學沒有
       做學問一定要在有學問的朋友氛圍中，時時砥礪成長。
       我到落杉机，不熟地方
      -已經到了無恥的地步。我宣布他已經不是我的學生了
      +你们都比我聪明，只是妄自菲薄而已！
      +已經到了無恥的地步。我宣布他已經不是我的學生了！
    #+end_src
    - 有多少 commit 需要 rebase (=iss53= 分支有多少 commit) 就需要处理多少次 (自动 or 手动)
*** Git merge 冲突处理与结果 I
    - 回到分叉状态，在 master (C4) 上 =git merge iss53=
    #+Attr_LaTeX: :width 0.5\textwidth
    [[./out/basic-merging-1.pdf]]
    #+beamer: \vspace{-1cm}
    #+begin_src
      Auto-merging record.txt
      CONFLICT (content): Merge conflict in record.txt
      Automatic merge failed; fix conflicts and then commit the result.
    #+end_src
    #+begin_src text
      <<<<<<< HEAD
      已經到了無恥的地步。我宣布他已經不是我的學生了
      =======
      你们都比我聪明，只是妄自菲薄而已！
      我宣布他已經不是我的學生了！
      >>>>>>> iss53
    #+end_src
    #+beamer: \pause
    - 解决好冲突后 =git merge --continue= 生成 merge commit C6
    #+beamer: \pause
    - Merge commit 有两个祖先，单个差分 (=git log -p=) 无法表达
*** Git merge 冲突处理与结果 II
    使用 =git log --diff-merges=combined= 查看 merge commit 相对两个祖先的差分
    #+Attr_LaTeX: :options bgcolor=lightgray,fontsize=\tiny
    #+begin_src diff
commit 3773ad5beca2111981908d010e7356fa5d381a67 (HEAD -> main)
Merge: 37bb2ab 5f9c706
Author: Yiyang Wu <xgreenlandforwyy@gmail.com>
Date:   Fri Jan 31 19:22:46 2025 +0800

    Merge branch 'iss53'

diff --cc record.txt
index 046a6d4,598b092..219a08a
--- a/record.txt
+++ b/record.txt
@@@ -1,6 -1,8 +1,9 @@@
  今日中国，强敵环伺，科技卡膀，海疆未靖，幼苗未长，此誠危急存亡之秋也。
+ 我們学生躲在遊戲屋，不觉得羞愧？
  告诉学生們，去修 birkar 的課，交論文，得分最高的，獎一个华为手表。
  概率統計，前十名，北京大學佔八名，清華大學沒有
++這種成績，使人汗顏！如此成績，如何招生？
  做學問一定要在有學問的朋友氛圍中，時時砥礪成長。
  我到落杉机，不熟地方
- 已經到了無恥的地步。我宣布他已經不是我的學生了
+ 你们都比我聪明，只是妄自菲薄而已！
 -我宣布他已經不是我的學生了！
++已經到了無恥的地步。我宣布他已經不是我的學生了！
    #+end_src

    彩蛋：这个 merge commit 塞了私货
*** 权衡 merge vs rebase
    参考 https://git-scm.com/book/en/v2/Git-Branching-Rebasing Rebase vs. Merge
    - =git merge= 只处理一次(大)冲突，产生非线性历史
      - 遮住其他分支后 merge commit 视作单个祖先，获得简单的线性历史，可以排除低质量 commit 干扰 bisect
      - 难理清 commits 的逻辑顺序
      - revert 更困难
      - 不遮住分支 bisect 困难
        #+beamer: \pause
    - =git rebase= 处理多次(小)冲突，产生线性历史：
      - 所有 commits 逻辑顺序清晰，revert 容易
      - bisect 可以检查所有合并进来的 commits
      - 所有 commits 在一个历史中，低质量 commits 会干扰 bisect
        #+beamer: \pause
    - 判据: master 的喜好；分支的所有 commits 是否达到和 master 一样的水准
      - 分支充斥半成品 commits、 revert(s)，只有最终 commit 达到了 master 水准: merge \pause
      - 分支 commits 质量和 master 一致，rebase + 快进 merge \pause
      - 分支充斥半成品但 master 不愿 merge：要求分支作者在 rebase 时打磨干净，提升水准: rebase + 快进 merge
*** Git merge 但由待合并分支处理冲突
    =git merge= 由 master 处理冲突并敲定 merge commit。

    如果 master 可能要求 =iss53= 处理冲突？
    - 可以 rebase，但也许工作量更大
    - 可以先 =git merge master= 把冲突解决，再由 master =git merge --no-ff iss53=

    #+Attr_LaTeX: :width 0.7\textwidth
    [[./out/basic-merging-3.pdf]]

    - 红色部分表示 merge commit 的默认祖先 (first-parent)
    - 如果 =git merge --ff iss53= 则最终 merge commit 是 C6， 默认祖先指向 C5 (iss53 分支)，在 revert 和 bisect 时带来困扰 
*** 基于 Gitlab merge request (或 Github pull request) 的开发流程 I
    gitlab 命令行工具： =apt install glab=, 登录: =glab auth login=
    #+begin_src bash
      # 首先在 Gitlab fork 需要的上游仓库 foo/bar.git 到 my/bar.git
      # 之所以 fork 是因为一般人无法往原仓库 push 分支
      glab repo fork # 或在网页上点击 fork
      git clone git@git.tsinghua.edu.cn:my/bar.git # 拉取 fork 仓库, 进入 master 分支
      cd bar
      git switch --create my-dev # 取一个合适的分支名字
      # 一通编辑代码
      git add xxx
      git commit
      git push --set-upstream origin HEAD # push 自己的分支
      glab mr create # 或者根据命令行提示信息，在网页发起 merge request
      # 上游若要求 rebase，则需要先同步 fork 仓库 my/bar.git 的 master 分支
      git switch master
      git pull # 同步 master, 产生分叉
      git switch my-dev
      git rebase master
      git push --force # rebase 后破坏了 my-dev 的历史，my/bar.git 的 my-dev 远端需要被覆盖
    #+end_src
*** 参考资料
    - Git 提交说明的白盒采分项：
      
      https://physics-data.meow.plus/faq/whitebox/#git

    - 写好提交说明的七大原则 by cbeams
      https://chris.beams.io/posts/git-commit/
      
    - 提交说明编写指南 by 阮一峰

      http://www.ruanyifeng.com/blog/2016/01/commit_message_change_log.html

** 对 FAQ 和讲义作贡献
*** 有突出贡献的同学可得 8% 左右的总评鼓励
     - 课程 FAQ 
       - https://git.tsinghua.edu.cn/physics-data/faq/
       - 提出好问题，整理问题解答，提交 merge request，……
     - 课程讲义
       - 修正错别字、语言错误、常识错误
       - 指出逻辑不明的地方
       - 补充课堂讲授但讲义遗漏的内容
       - ……
     - 贡献方式
       - [X] Git
       - [X] GitLab issue
       - [ ] GitLab Merge Request
*** 分支
[[https://gitlab.airelinux.org/xmass/waveform/][例子]]

- 关系
- merge request （合并请求）
  + 提交代码审核。

*** Git 仓库间通信的各阶段
    - fork :: Gitlab 类 Git 平台的术语，对应于 =git clone=
      - 在本人帐号创建复本，用于自己修改和提交
      - 提交说明的备注：关闭哪个 issue
    - remote :: Git 的远程仓库
        #+begin_src bash
          git remote -v
        #+end_src
        #+begin_example
          origin  git@git.tsinghua.edu.cn:physics-data/lecture.git (fetch)
          origin  git@git.tsinghua.edu.cn:physics-data/lecture.git (push)
        #+end_example
    - pull, push :: 从远程下载和上传改动，单元为差分 commit
    - merge :: 与其他仓库或分支通过交换差分来整合
    - merge request :: GitLab 平台术语，发送 merge 请求。请他人整合自己的差分贡献。

* Python 基础
  :PROPERTIES:
  :EXPORT_FILE_NAME: p1
  :EXPORT_DATE: 2025-06-24 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 准备与复习
*** 预备
- 查看是否已经安装 Python
  #+ATTR_LATEX: :environment verbatim
  #+begin_example
    python3

    Python 3.11.2 (main, Mar 13 2023, 12:18:29) [GCC 12.2.0] on linux
    Type "help", "copyright", "credits" or "license" for more information.
    >>> 
  #+end_example
  - 退出输入 =exit()= 或者按 =Ctrl-d= 。
  - =Ctrl-d= 代表文件（标准输入）的终止。
- 如果没有 Python（可能性不大），或想升级 Python
  #+begin_src bash
    apt install python3 # Debian @ WSL
    emerge -vt python:3 # Gentoo Prefix @ macOS
  #+end_src

*** 黑客审美
- 当代文明的两大支柱是 _实验_ 和 _逻辑_ 。
- 四个原则：
  1. _复现_ - 否则成伪科学
  2. _透明_ - 否则玄学黑箱
  3. _一次_ - 否则到处是坑
  4. _最佳工具_ - 否则效率低下

#+beamer: \pause

- 推论：
  1. 兼容比性能优先

     #+BEGIN_quote
       Premature optimization is the root of all evil.
       -- Tony Hoare, Donald Knuth
     #+END_quote

  2. 人类时间比机器时间宝贵

  3. 使用工具进行版本控制

*** 最佳工具
     - GNU 环境、 POSIX 标准：用于促进程序有几十年跨度的兼容性。
**** Git：当代的版本控制
     - 快照与差分
     - 三个状态：
       - 已提交 committed （未改动 unmodified）
       - 已修改 modified
       - 待提交 staged
     
**** 程序编辑器三大流派
     请完成网络学堂的“课程问卷”，计划帮助大家掌握一款编辑器。
     - Emacs
     - Vi
     - Visual Studio Code
** Python 入门
*** 为什么用 Python
    #+attr_beamer: :overlay <+->
    - Python 是一门“解释型语言”，相对于“编译型语言”更易调试。
    - Python 的语法风格简明，即使对外行也易读。
      - 书写效率高，快速写出不错的程序。
    - Python 可以直接调用 Fortran, C/C++, R 等语言库，因此也叫“胶水”语
      言，即把不同的程序粘合在一起。
      - 易于与已有工具整合。
      - 促进团队分工，协作。
      - 大大丰富了 Python 生态系统的功能，进一步优化程序运行效率。
      - 符合 _最佳工具_ 原则。
    - Python 是一个通用语言，不仅在科学研究，在生活中的方方面面都会有用。

    - 在科学计算领域得到广泛欢迎和采用。

      https://www.python.org/
*** 特点和用途
    - Python 是一门“解释型语言”，相对于“编译型语言”更易调试。
    - Python 的语法风格简明，即使对外行也易读，大大降低了程序设计的门槛
    - Python 可以直接调用 Fortran, C/C++, R 等语言库，因此也叫“胶水”语 言，即把不同的程序粘合在一起。
    - Python 是一个通用语言，不仅在科学研究，在生活中的方方面面都会有用。
      - 操作系统生成器和管理器 ([[https://wiki.gentoo.org/wiki/Portage][Gentoo Portage]])
      - 网站 ([[https://www.djangoproject.com/][Django]])
*** 参考资料
    - Allen Downey, Think Python 2e

      简明通俗的入门书

    - http://py4e.com/

      Python for everybody，全球知名的 Python 在线教程，新手友好。

    - Learn X in Y minutes

      https://learnxinyminutes.com/docs/python3/

      已经掌握若干门语言的同学，可以通过此提纲快速入门

*** Python 环境
安装了 Python 之后，在命令行界面可以直接进入 Python 的交互模式：

#+ATTR_LATEX: :environment verbatim
#+begin_example
  $ python3
  Python 3.11.2 (main, Mar 13 2023, 12:18:29) [GCC 12.2.0] on linux
  Type "help", "copyright", "credits" or "license" for more information.
  >>> 
#+end_example

**** IPython （Jupyter 前身）增强的额外交互功能环境

#+ATTR_LATEX: :environment verbatim
#+begin_example
  # apt install ipython3
  $ ipython3
  Python 3.11.2 (main, Mar 13 2023, 12:18:29) [GCC 12.2.0]
  Type 'copyright', 'credits' or 'license' for more information
  IPython 8.5.0 -- An enhanced Interactive Python. Type '?' for help.

  In [1]: 
#+end_example

*** 查看 Python 的基本信息
#+begin_src python :results output :session local :exports both
  import sys
  print(sys.version)
#+end_src

#+RESULTS:
: 3.11.2 (main, Mar 13 2023, 12:18:29) [GCC 12.2.0]

#+begin_src python :results output :session local :exports both
  print("\n".join(sys.path))
#+end_src

#+RESULTS:
: 
: /usr/lib/python311.zip
: /usr/lib/python3.11
: /usr/lib/python3.11/lib-dynload
: /usr/local/lib/python3.11/dist-packages
: /usr/lib/python3/dist-packages
: /usr/lib/python3.11/dist-packages

*** Python 之禅
#+begin_src python :results output :session local :exports both
import this
#+end_src

#+RESULTS:
#+begin_example
The Zen of Python, by Tim Peters

Beautiful is better than ugly.
Explicit is better than implicit.
Simple is better than complex.
Complex is better than complicated.
Flat is better than nested.
Sparse is better than dense.
Readability counts.
Special cases aren't special enough to break the rules.
Although practicality beats purity.
Errors should never pass silently.
Unless explicitly silenced.
In the face of ambiguity, refuse the temptation to guess.
There should be one-- and preferably only one --obvious way to do it.
Although that way may not be obvious at first unless you're Dutch.
Now is better than never.
Although never is often better than *right* now.
If the implementation is hard to explain, it's a bad idea.
If the implementation is easy to explain, it may be a good idea.
Namespaces are one honking great idea -- let's do more of those!
#+end_example

*** 算术基本运算
+ =+= 加， =-= 减， =*= 乘， =/= 除， =//= 整除， =%= 取余， =**= 乘方
+ 其它运算由函数来定义
#+begin_src python :results value :session local :exports both
2+1
#+end_src

#+RESULTS:
: 3

#+begin_src python :results value :session local :exports both
2*7, 2**7, 3/2, 3//2, 3%2
#+end_src

#+RESULTS:
| 14 | 128 | 1.5 | 1 | 1 |

#+begin_src python :results value :session local :exports both
  import math
  math.factorial(10) # 10!
#+end_src

#+RESULTS:
: 3628800

*** 整数是高精度的
- 计算机上标准整数运算有界；
- 高精度整数并没有硬件的底层支持，是 Python 的软件实现，以一些性能损失为代价给予用户便利。

#+begin_src python :results value :session local :exports both
math.factorial(66)
#+end_src

#+RESULTS:
: 544344939077443064003729240247842752644293064388798874532860126869671081148416000000000000000

#+begin_src python :results value :session local :exports both
2**100
#+end_src

#+RESULTS:
: 1267650600228229401496703205376

*** 整除的基本约定
负数整除：向小的方向截断。

#+begin_src python :results value :session local :exports both
5 // 3, -5 // 3, 5.0 // 3.0, -5.0 // 3.0
#+end_src

#+RESULTS:
| 1 | -2 | 1.0 | -2.0 |

#+begin_src python :results value :session local :exports both
5 % 3, -5 % 3, 5.0 % 3.0, -5.0 % 3.0
#+end_src

#+RESULTS:
| 2 | 1 | 2.0 | 1.0 |

#+begin_src python :results value :session local :exports both
(-5 // 3) * 3 + (-5 % 3) == -5
#+end_src

#+RESULTS:
: True

*** 布尔运算：真与假
Python 的设计目标是“符合直觉”

#+begin_src python :results value :session local :exports both
not True, not False
#+end_src

#+RESULTS:
| False | True |

#+begin_src python :results value :session local :exports both
True and False, False or True
#+end_src

#+RESULTS:
| False | True |

#+begin_src python :results value :session local :exports both
True + True, True * False # True 实际上是 1, False 实际上是 0
#+end_src

#+RESULTS:
| 2 | 0 |

#+begin_src python :results value :session local :exports both
True * 8, False - 5 # 只为了说明 True 和 False 的内部表示，不要这样写代码
#+end_src

#+RESULTS:
| 8 | -5 |

*** 条件判断
- 等号写两次用于判断，写一次用于赋值。
#+begin_src python :results value :session local :exports both
1 == 1, 2 == 1
#+end_src

#+RESULTS:
| True | False |

#+begin_src python :results value :session local :exports both
1 != 1, 2 != 1
#+end_src

#+RESULTS:
| False | True |

#+begin_src python :results value :session local :exports both
1 < 10, 1 > 10, 2 <= 2, 2 >= 2
#+end_src

#+RESULTS:
| True | False | True | True |

*** 数据类型
=int= 指整型，没有上限； =float= 是浮点型，一般为双精度； =str= 是字符串

#+begin_src python :results value :session local :exports both
type(1)
#+end_src

#+RESULTS:
: <class 'int'>

#+begin_src python :results value :session local :exports both
type(1.5)
#+end_src

#+RESULTS:
: <class 'float'>

#+begin_src python :results value :session local :exports both
type('Hello')
#+end_src

#+RESULTS:
: <class 'str'>

#+begin_src python :results output :session local :exports both
print(type("a"), type("你好")) # 单个字符和汉字都是字符串
#+end_src

#+RESULTS:
: <class 'str'> <class 'str'>
*** 字符串
与高精度整数一样，字符串也没有硬件的对应，是 Python 的软件实现。这极大方便了使用 Python 进行文本处理。

#+begin_src python :results value :session local :exports both
"今天" + "要下雨"
#+end_src

#+RESULTS:
: 今天要下雨

#+begin_src python :results value :session local :exports both
"1" + "2"
#+end_src

#+RESULTS:
: 12

*** 标准输入输出
- 标准输出默认与屏幕连接， =print()= 默认向标准输出写
- 标准输入默认与键盘连接， =input()= 默认从标准输入读

#+ATTR_LATEX: :environment verbatim
#+begin_example
q = input() # 下面由现场输入
print(q)

frog
#+end_example

**** Python 的注释
- 注释使用 '#' 号引出，多行注释则多用几次 '#' 号
#+ATTR_LATEX: :environment verbatim
#+begin_example
# 在这个程序中，我们将使用计算球谐函数对任意
# 球面上的连续函数进行拟合
#+end_example

*** 正式入门 Python：输出 Hello World!
#+begin_src python :results output :session local :exports both
print("Hello World!")
#+end_src

#+RESULTS:
: Hello World!

**** 创建脚本文件
世界上本没有脚本，把输入的命令记录下来就成了脚本。  Python 脚本一般以 =.py= 结尾。

使用编辑器创建 =hello.py= ，写入以下内容，第一行是标注脚本由什么来解释。
#+begin_src python
  #!/usr/bin/env python3

  print("Hello World!")
#+end_src

给予脚本可执行权限并执行
#+begin_src bash
  chmod +x hello.py
  ./hello.py
#+end_src

** Python 变量
*** 变量创建与使用
- Python 是“弱类型语言”，创建变量可不指定类型。
#+begin_src python :results output :session local :exports both
message = "This is a new era. 新时代"
print(message)
#+end_src

#+RESULTS:
: This is a new era. 新时代

- 变量在使用中可以改换类型
  #+begin_src python :results value :session local :exports both
    message = 1
    type(message)
  #+end_src

  #+RESULTS:
  : <class 'int'>

*** 字符串函数
字符串的操作相对于硬件调用，是一项高级功能。Python 有强大的字符串处理工具。

#+begin_src python :results value :session local :exports both
len('123456'), len('654321') # 字符串长度
#+end_src

#+RESULTS:
| 6 | 6 |

#+begin_src python :results value :session local :exports both
s = "我正在上课。"
s[0], s[2:4], s[-1] # 字符串可以取子串
#+end_src

#+RESULTS:
| 我 | 在上 | 。 |

#+begin_src python :results value :session local :exports both
"啊" * 10 + "哈" * 20
#+end_src

#+RESULTS:
: 啊啊啊啊啊啊啊啊啊啊哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈

*** 字符串与变量的联合操作
#+begin_src python :results value :session local :exports both
"{} 乘以 {} 等于 {}".format(3, 5, 3*5) # 把其它类型的值嵌入字符串
#+end_src

#+RESULTS:
: 3 乘以 5 等于 15

**** f-string 用来把变量值嵌入字符串
#+begin_src python :results value :session local :exports both
b=50
f"b 的取值是 {b}"
#+end_src

#+RESULTS:
: b 的取值是 50

*** None 值
- =None= 是一个特殊的值，代表空集、无、无法表达或者非法的结果

#+begin_src python :results value :session local :exports both
None
#+end_src

#+RESULTS:
: None

#+begin_src python :results value :session local :exports both
x = None # None 可以被赋值
1 is None, x is None # 可以被判断
#+end_src

#+RESULTS:
| False | True |

- 使用场景：判断某个结果是否是 =None= 有助于我们了解操作是否成功

#+begin_src python :results value :session local :exports both
bool(None) # None 也可以当作“假”被判断
#+end_src

#+RESULTS:
: False

** 阅读英语提示
*** 不要害怕英文提示
- 人生第一次遇到英语不是“屠龙之技”的场景，值得庆贺。
- 下一个场景：阅读英语科技文献。
- 再下一个场景：与国际同行讨论争吵。

#+begin_src python :results value :session local :exports both
 ---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-3-f40f0b3453ee> in <module>
----> 1 message + 1

TypeError: can only concatenate str (not "int") to str
#+end_src

** Python 的程序结构
*** 程序结构
head to =Python-Constructs.slides=.

- 顺序结构
- 选择结构
- 循环结构

* 复合类型与函数
  :PROPERTIES:
  :EXPORT_FILE_NAME: p2
  :EXPORT_DATE: 2025-06-25 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习
*** Python 基础
- 基本数据类型和基本运算
  + 整型、浮点型和字符串
- 基本程序结构
  + 顺序、选择和循环结构
- Python 的脚本
  #+begin_src python
    #!/usr/bin/env python3

    # Python 的语句
    # ...
    # ...
  #+end_src
** 复合数据类型
*** 简介
     - Python 的基本类型，比如整型、浮点型、布尔型、字符串。
     - 它们可以复合起来，成为tuple（元组）、列表或字典。
       - =()=, =[]=, ={}=
       - 复合类型之间可以嵌套，变化丰富

** 列表 list
*** 简介
    - 把单元前后排成一列，单元为任意类型。

    #+NAME: 3c5d6d1e-2009-43fb-9685-a81b0643da1e
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb
      [1,2,3], ["天","地","人"], ["物理",3.1415926]
    #+end_src  

    #+RESULTS: 3c5d6d1e-2009-43fb-9685-a81b0643da1e
    : ([1, 2, 3], ['天', '地', '人'], ['物理', 3.1415926])

    #+NAME: 64cbe8d7-dbb3-4728-a476-fd709defeab1
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      [], [[]], [[],[[]]], [[],[[],[[]]]] # 可以构造自然数
    #+end_src

    #+RESULTS: 64cbe8d7-dbb3-4728-a476-fd709defeab1
    : ([], [[]], [[], [[]]], [[], [[], [[]]]])

    #+NAME: a7d82c7e-e151-4522-95f3-81a1252e5929
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      xl = [1, 2, 3]
      xl[1]= 5
      print(xl)
    #+end_src

    #+RESULTS: a7d82c7e-e151-4522-95f3-81a1252e5929
    : [1, 5, 3]

*** 用于汇总
    - 生成空列表出发，逐步加入元素

    #+NAME: 5af34db6-b824-4800-a54b-b8806d481fce
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      li = []
      li.append("手机")
      li.append("钥匙")
      li.append("身份证")
      print(li)
      for i in li: # 作为迭代器
          print(f"出门之前，别忘了带{i}")
    #+end_src

    #+RESULTS: 5af34db6-b824-4800-a54b-b8806d481fce
    : ['手机', '钥匙', '身份证']
    : 出门之前，别忘了带手机
    : 出门之前，别忘了带钥匙
    : 出门之前，别忘了带身份证

*** 元素操作
**** 取出
     #+NAME: fc06d8e2-c4de-4c7b-89f1-c18cf31cfa7e
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
     li[0], li[1:3], li[-1]
     #+end_src

     #+RESULTS: fc06d8e2-c4de-4c7b-89f1-c18cf31cfa7e
     : ('手机', ['钥匙', '身份证'], '身份证')

**** 判断是否属于
     #+NAME: 1f9aa74d-8b41-4229-af89-759f9c6858b8
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
       '手机' in li, "眼镜" in li
     #+end_src

     #+RESULTS: 1f9aa74d-8b41-4229-af89-759f9c6858b8
     : (True, False)

** 元组 tuple
*** 简介
    - 元组与列表类似，区别在于它不可修改
    #+NAME: c4e751ef-611f-4987-b72f-d258e785015e
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
(1,2,3), ("天时","地利","人和"), (),(()), ((),(())), ((),((),(())))
    #+end_src

    #+RESULTS: c4e751ef-611f-4987-b72f-d258e785015e
    : ((1, 2, 3), ('天时', '地利', '人和'), (), (), ((), ()), ((), ((), ())))

    #+NAME: f0d7a7a7-c359-4051-bfa7-27c77cb59f58
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
xt=(1,2,3)
xt[1]=5
    #+end_src

    #+RESULTS: f0d7a7a7-c359-4051-bfa7-27c77cb59f58
    : ---------------------------------------------------------------------------
    : TypeError                                 Traceback (most recent call last)
    : Input In [11], in <module>
    :       1 xt=(1,2,3)
    : ----> 2 xt[1]=5
    : 
    : TypeError: 'tuple' object does not support item assignment
*** 无法像列表一样 =append= ，但可以重新生成
    #+NAME: 71666e65-3790-49cb-9f5b-ee1aa40a1ed4
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      tu = tuple(li); print(tu)
      tu += ("眼镜",); print(tu)  # 对比 list.append("眼镜")
    #+end_src

    #+RESULTS: 71666e65-3790-49cb-9f5b-ee1aa40a1ed4
    : ('手机', '钥匙', '身份证')
    : ('手机', '钥匙', '身份证', '眼镜')
    #+NAME: 5073bc17-6224-4d80-aba8-8331ce064cda
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      "眼镜" in tu, "帽子" in tu
    #+end_src

    #+RESULTS: 5073bc17-6224-4d80-aba8-8331ce064cda
    : (True, False)
** 字典 dict(ionary)
*** 简介
- 字典是一个可以索引的数据结构
#+begin_example
工物 => 19
物理 => 16
致理 => 38
未央 => 19
#+end_example

#+NAME: 22a1aa7c-2d91-48f6-9eca-881e1f512ba3
#+begin_src python :results output :session local :exports both
  sc = {'工物': 19, '物理': 16}
  print(sc['工物'], sc['物理'])
#+end_src

#+RESULTS: 22a1aa7c-2d91-48f6-9eca-881e1f512ba3
: 19 16
*** 在字典中填加词条
#+NAME: fc1414cd-de1c-40dd-a96a-a9c552cb5664
#+begin_src python :results output :session local :exports both
sc['致理'], sc['未央'] = 38, 19 # 元组赋值
print(sc['致理'], sc['未央'])
#+end_src

#+RESULTS: fc1414cd-de1c-40dd-a96a-a9c552cb5664
: 38 19

**** 判断是否属于
     #+NAME: f56c70fa-83d5-456d-9f14-75dafbb38d66
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
       print('数学' in sc, '工物' in sc)
     #+end_src

     #+RESULTS: f56c70fa-83d5-456d-9f14-75dafbb38d66
     : False True

*** 简化条件语句
    - 在需要多重判断时，使用字典会有奇效。
      #+NAME: 19b1fa10-2461-41df-a86a-2a3dd3c62986
      #+begin_src python :results output :session local :exports both
        OS = "macOS"
        package_manager = {
            "GNU/Linux": "请用 Debian 的 APT 工具",
            "macOS": "请用 UTM，然后安装 Debian",
            "Windows": "请安装 WSL，然后安装 Debian"
        }

        print("大佬，", end="")
        if OS in package_manager:
            print(package_manager[OS])
        else:
            print("壮士，请您到主席台上来")
      #+end_src

      #+RESULTS: 19b1fa10-2461-41df-a86a-2a3dd3c62986
      : 大佬，请用 UTM，然后安装 Debian
*** 迭代器基本操作
    - 从字典中取出词和值。 =list()= 把迭代器转成列表。
    #+NAME: d8684788-ccef-46ee-bac9-859658744152
    #+begin_src python :results value :session local :exports both
      list(sc.keys()), list(sc.values())
    #+end_src

    #+RESULTS: d8684788-ccef-46ee-bac9-859658744152
    | 工物 | 物理 | 致理 | 未央 |
    |  19 |  16 |  38 |  19 |

    #+NAME: fdb8f0a1-277b-4e1a-b23c-5b024e4bea04
    #+begin_src python :results output :session local :exports both
      for k in sc:
          print(k)
      for v in sc.values():
          print(v)
    #+end_src

    #+RESULTS: fdb8f0a1-277b-4e1a-b23c-5b024e4bea04
    : 工物
    : 物理
    : 致理
    : 未央
    : 19
    : 16
    : 38
    : 19

*** 元组迭代器
    - =items()= 返回“词”和“值”组成的二元组。
      #+NAME: 353bba20-eef1-4e4b-848d-4aa346ba8674
      #+begin_src python :results output :session local :exports both
        for k,v in sc.items():
            print(f"教室里有{k}学生{v}人")
      #+end_src

      #+RESULTS: 353bba20-eef1-4e4b-848d-4aa346ba8674
      : 教室里有工物学生19人
      : 教室里有物理学生16人
      : 教室里有致理学生38人
      : 教室里有未央学生19人

*** 字典中的数据类型
    - 词 key 应当是“不可变” immutable 类型
      - 列表不能是字典的词
      - 元组可以是字典的词
      - 字典不能是字典的词
    #+NAME: f89e8205-a2cb-4a1f-b8a8-de20a7706a1a
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      坐标系 = {(0,0): "原点", (1,1): "第一象限", (-1,1): "第二象限"}
      print(坐标系[(0,0)])
    #+end_src

    #+RESULTS: f89e8205-a2cb-4a1f-b8a8-de20a7706a1a
    : 原点

    - 值 value 可以是任意类型

** 集合 set
*** 简介
- 集合具有互异不重复性，对其做添加操作时自动滤除重复元素。
- 集合的取交、并和差集等运算应用广泛。
#+beamer: \pause

**** 创建集合
#+begin_src python :results output :session local :exports both
  A = set(range(4))
  B = {0, 1, 2, 3}
  print(A, B)
#+end_src

#+RESULTS:
: {0, 1, 2, 3} {0, 1, 2, 3}

#+begin_src python :results output :session local :exports both
  print(type({}), type(set()), type(dict())) # {} 是空字典
#+end_src

#+RESULTS:
: <class 'dict'> <class 'set'> <class 'dict'>

*** 元素操作
#+begin_src python :results output :session local :exports both
  A.add(7) # 加元素进集合
  A.discard(3) # 从集合除去元素
  print(A)
#+end_src

#+RESULTS:
: {0, 1, 2, 7}

#+begin_src python :results output :session local :exports both
  A.clear() # 集合清空
  print(A)
#+end_src

#+RESULTS:
: set()

#+begin_src python :results value :session local :exports both
  B.pop() # 随机取出一个元素返回
#+end_src

#+RESULTS:
: 0

#+begin_src python :results value :session local :exports both
  B
#+end_src

#+RESULTS:
| 1 | 2 | 3 |

*** 集合运算
#+begin_src python :results value :session local :exports both
{1, 2} - {2, 3}　# 差集
#+end_src

#+RESULTS:
| 1 |

#+begin_src python :results output :session local :exports both
  print({1, 2}.union({2, 3}), # 并集
        {1, 2}.intersection({2, 3})) # 交集
#+end_src

#+RESULTS:
: {1, 2, 3} {2}

** 其它数据结构
*** defaultdict -- 带有默认值的字典
    #+NAME: 7947f42e-020b-4930-b5e0-5c9ee543209d
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      k = "数学"

      if k in sc:
          v=sc[k]
      else:
          v=0
      print(f"来自{k}的同学有{v}人")
    #+end_src

    #+RESULTS: 7947f42e-020b-4930-b5e0-5c9ee543209d
    : 来自数学的同学有0人

    #+NAME: 01f8c3ff-0c81-41a0-aab8-8d64a27564cd
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      from collections import defaultdict

      dsc = defaultdict(int)
      dsc["工物"] = 42; dsc["物理"] = 52
      print(dsc["工物"], dsc["数学"])

    #+end_src

    #+RESULTS: 01f8c3ff-0c81-41a0-aab8-8d64a27564cd
    : 42 0

*** 普通的字典不能强取
    #+NAME: 08b218b3-340b-423c-905b-4ba3870a2b96
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      sc["数学"]
    #+end_src

    #+RESULTS: 08b218b3-340b-423c-905b-4ba3870a2b96
    : ---------------------------------------------------------------------------
    : KeyError                                  Traceback (most recent call last)
    : Input In [39], in <module>
    : ----> 1 sc["数学"]
    : 
    : KeyError: '数学'

*** Counter -- 高效地计数
    #+NAME: be493df6-806e-48f3-9f50-3c6cea84955e
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      deps = ["物理","物理","工物","工物","物理"]
      numbers = defaultdict(int)

      for d in deps:
          numbers[d]+=1
      print(numbers)
    #+end_src

    #+RESULTS: be493df6-806e-48f3-9f50-3c6cea84955e
    : defaultdict(<class 'int'>, {'物理': 3, '工物': 2})

    #+NAME: 9e783fda-3a7c-42f5-8115-045afceee56a
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      from collections import Counter

      cnumbers = Counter(deps)
      print(cnumbers)
    #+end_src

    #+RESULTS: 9e783fda-3a7c-42f5-8115-045afceee56a
    : Counter({'物理': 3, '工物': 2})

*** namedtuple -- 带有元素名字的 tuple
    #+NAME: 26d87e22-c2d2-4539-b862-e8dbc5f3d023
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      from collections import namedtuple

      Point = namedtuple("point", field_names=("x", "y"))
      p = Point(1,2)
      print(p)
    #+end_src

    #+RESULTS: 26d87e22-c2d2-4539-b862-e8dbc5f3d023
    : point(x=1, y=2)

    #+NAME: 06e2a48b-f9fc-4c5e-92e3-8380d903ca4b
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      print(p.x, p.y)
      print(p[0], p[1])
    #+end_src

    #+RESULTS: 06e2a48b-f9fc-4c5e-92e3-8380d903ca4b
    : 1 2
    : 1 2

** 函数
*** 简介
    - 函数是程序的基本组成部分。
    - 函数可以直观看作是多段代码组成的功能单元。
    - 函数的输入输出。
    - 函数方便代码复用，体现 _一次_ 原则。
    #+NAME: 09635af2-2a7d-468d-ac28-b952e24b7686
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      def add(x, y):
          print(f"x is {x} and y is {y}")
          return x + y  # Return values with a return statement
      add(3, 5)
    #+end_src

    #+RESULTS: 09635af2-2a7d-468d-ac28-b952e24b7686
    : x is 3 and y is 5
    : 8
*** 函数定义互换操作
    #+NAME: 6cb0a7ce-c0de-4810-987d-1132d7eae3d1
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      def swap(x, y):
          return y, x
      a = '左'
      b = '右'

      print(a,b)
      a, b = swap(a,b)
      print(a,b)
      a, b = b, a
      print(a,b)
    #+end_src

    #+RESULTS: 6cb0a7ce-c0de-4810-987d-1132d7eae3d1
    : 左 右
    : 右 左
    : 左 右
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      tmp = a; a = b; b = tmp # 对比
    #+end_src
*** 迭代器函数调用
    - 使用 `map` 可以把迭代器的映射到另一个迭代器

    #+NAME: a3213184-6430-485a-95bd-2fd8e219b6ee
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      def squared(x):
          return x*x

      list(map(squared, [1,2,3,4,5,6]))
    #+end_src

    #+RESULTS: a3213184-6430-485a-95bd-2fd8e219b6ee
    : [1, 4, 9, 16, 25, 36]
**** 无名函数
     函数名不重要时，可以使用无名函数
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
       list(map(lambda x: x*x, range(6)))
     #+end_src
*** 名字空间 -- 函数自己的变量存储空间
    #+NAME: e6f86e51-a44a-4be8-ae13-66a644cf44e5
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      x = 1
      def scope():
          x = 2
      scope()
      print(x)
    #+end_src

    #+RESULTS: e6f86e51-a44a-4be8-ae13-66a644cf44e5
    : 1
**** 强行使用全局变量（不推荐！）
     #+NAME: 10ecee2c-7a07-4397-b9f7-d6f0ef3e4629
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
       def gscope():
           global x; x = 2
       gscope()
       print(x)
     #+end_src

     #+RESULTS: 10ecee2c-7a07-4397-b9f7-d6f0ef3e4629
     : 2
*** 递归调用
    - 考虑循环
    #+NAME: c3e41892-7059-4d96-9f95-cbc74debb983
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      n=123
      while n>=1:
          print(n)
          n //= 2 # n = n // 2 的简写
    #+end_src      

    #+RESULTS: c3e41892-7059-4d96-9f95-cbc74debb983
    : 123
    : 61
    : 30
    : 15
    : 7
    : 3
    : 1

*** 递归调用（二）
    - 等价于下列的递归调用
    #+NAME: 7b917075-86a9-44fa-bf6b-c5a7ad0b5058
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      def div2(n):
          print(n)
          if n > 1:
              div2(n // 2)
      div2(123)
    #+end_src      

    #+RESULTS: 7b917075-86a9-44fa-bf6b-c5a7ad0b5058
    : 123
    : 61
    : 30
    : 15
    : 7
    : 3
    : 1

** 命令行参数
*** 命令行参数从终端向 Python 内部传递信息
   #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
     import sys

     print(sys.argv)
   #+end_src

调用 =sys= 模块， =sys.argv= 是一个列表，内含程序调用的参数

   #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
$ python3 sys-demo.py 第一个参数 第二个参数
['sys-demo.py', '第一个参数', '第二个参数']
  ^sys.argv[0]  sys.argv[1]  sys.argv[2]
   #+end_src
*** argparse 命令行传递参数
    https://docs.python.org/3/library/argparse.html
    - 构造高级的命令选项
      - 数据类型
      - 格式限制

** 文档
*** 文档的重要性
- 保证程序对人类友好，实现“透明”原则。
- 对人友好，就是对自己友好，给自己的程序写笔记备忘。

**** 己所不欲，勿施于人
- 我们学习别人的代码时，最讨厌的是“看不懂”，“没说明”。

*** 函数文档
    - 在函数定义后，紧跟一个字符串，可以定义函数的文档。
    - 用多行字符串很方便。
    #+NAME: 43cf7a90-4183-4bfb-afb7-e8039347ad94
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      def spherical_harmonic_fitter(grid, order):
          "求球谐函数拟合的系数"
    
          # 具体实现省略
          pass

      help(spherical_harmonic_fitter)
    #+end_src

    #+RESULTS: 43cf7a90-4183-4bfb-afb7-e8039347ad94
    : Help on function spherical_harmonic_fitter in module __main__:
    : 
    : spherical_harmonic_fitter(grid, order)
    :     求球谐函数拟合的系数
    : 
*** 多行文档
    #+NAME: a4814cf2-5122-4e29-8497-59b14d9b2cca
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      def spherical_harmonic_fitter(grid, order):
          '''
          求球谐函数拟合的系数
    
          输入
          ~~~
          grid: 球面上连续函数在固定格点上的取值
          order: 拟合时球谐函数近似截断的阶数
          '''
          pass
      help(spherical_harmonic_fitter)
    #+end_src

    #+RESULTS: a4814cf2-5122-4e29-8497-59b14d9b2cca
    #+begin_example
    Help on function spherical_harmonic_fitter in module __main__:

    spherical_harmonic_fitter(grid, order)
        求球谐函数拟合的系数

        输入
        ~~~
        grid: 球面上连续函数在固定格点上的取值
        order: 拟合时球谐函数近似截断的阶数

    #+end_example

*** 文档的普适性
    - 任何 Python 的标准函数都有文档，大家都应认真写文档
    #+NAME: a72f50bc-7adf-43a5-b7e4-0712bf48fc25
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      help(None)
    #+end_src  

    #+RESULTS: a72f50bc-7adf-43a5-b7e4-0712bf48fc25
    #+begin_example
    Help on NoneType object:

    class NoneType(object)
     |  Methods defined here:
     |  
     |  __bool__(self, /)
     |      self != 0
     |  
     |  __repr__(self, /)
     |      Return repr(self).
     |  
     |  ----------------------------------------------------------------------
     |  Static methods defined here:
     |  
     |  __new__(*args, **kwargs) from builtins.type
     |      Create and return a new object.  See help(type) for accurate signature.

    #+end_example
** 调试测试
*** 程序调试
    - 透明原则：程序运行的中间结果应当被人类理解
    - 调试方法：
      - =print()=
      - REPL 试验
      - pdb, Python Debugger
        - =breakpoint()=
        - bt 给出函数调用关系
        - next 执行下一步
        - where 给出当前位置
        - list 列出附近的程序
        - help
*** 程序的正确性保证
- 如果保证修改程序不引入新的问题？
  - 修改越多，引入新问题的概率越大吗？
- 使用 Git 会有什么帮助吗？
  - 除了 Git 还需要什么？
- 实验室为何会有谁都不敢动的“祖传代码”出现？
*** 编写测试数据
- 根据需求，用已知的输入输出检验程序是否正确
  - 单元测试：对函数进行测试
  - 集成测试：对各部分总体进行测试
- 测试程序与功能程序可以交替进行：

  #+begin_example
,-------       ,-------
| 测试         | 测试
`-------       `-------
       ,-------       ,-------
       | 功能         | 功能
       `-------       `-------
  #+end_example
*** 作业中的评分器是测试
- 评分器定义了功能，即程序期待得出的结果
  - 自动测试是目前为止，软件工程中最有效的保证程序可靠性的做法
  - 不仅保证程序逻辑正确，还要保证输入输出符合约定
- 可以在本地手动运行
- 也可以在线自动触发：课程使用的是 gitlab runner
  - 实现了持续集成（Continuous Integration）
  - 一旦哪个 commit 有了问题可以迅速通知：谁在什么时候弄坏了什么功能
*** 实验的数据处理
  - 上游程序的输出是下游程序的输入
  - 程序仅仅被人类理解是不够的
  - 如果不符合格式约定，后一个程序或者会崩溃，或者误读数据造成不易察觉的错误
  - 一旦科学结果被发表，纠正错误将牵扯诸多非科学因素
**** 测试框架可以促进协作
- 上游程序使用测试器模拟下游的读入
- 下游程序使用测试器模拟上游的输出

- 请主动设计测试输入样例，与同学分享刁钻的测试输入

** 代码风格
*** 原则：人类阅读友好
There should be one-- and preferably only one --obvious way to do it.

- 写程序，也只有一种推荐的风格
- 由 PEP-8 定义
  - PEP := Python enhancement proposal
  - https://www.python.org/dev/peps/pep-0008/
  - This document gives coding conventions for the Python code comprising the standard library in the main Python distribution.
- Python 哲学：Readability counts.
*** 缩进
- 建议 4 个空格
- 避免一行过长，一切行必须在 80 字符以内
  - 人类读过长的行时，眼球不停转动，肌肉易疲劳
  - 限制行宽，方便把代码并列对比

#+begin_src python
# Aligned with opening delimiter.
foo = long_function_name(var_one, var_two,
                         var_three, var_four)

# 如果与开括号对齐导致空白过多，也可只加4个空格的缩进量。
def long_function_name(
        var_one, var_two, var_three,
        var_four):
    print(var_one)
#+end_src

*** 多参数写法
    #+begin_src python
my_list = [
    1, 2, 3,
    4, 5, 6,
    ]
result = some_function_that_takes_arguments(
    'a', 'b', 'c',
    'd', 'e', 'f',
    )
    #+end_src

*** 空格
    - 恰当使用空格。过多或过少使用空格，都会使代码的可读性降低。
    - 开括号之后和闭括号之前，不留空格。
    - ",)"之间不留空格

      #+begin_src python :exports both
        spam(ham[1], {eggs: 2})

        foo = (0,)
      #+end_src

   - 逗号之前不留空格，之后最好由一个空格
     #+begin_src python :exports both
       a, b = b, a
     #+end_src

*** 空格：数学表达式
    - 等号左右留空格
    - 加号类左右留空格数应相等

      #+begin_src python :exports both
i = i + 1
submitted += 1
x = x*2 - 1
hypot2 = x*x + y*y
c = (a+b) * (a-b)
      #+end_src
    - 但是，函数调用中的等号不留空格
      #+begin_src python :exports both
magic(r=real, i=imag)
      #+end_src
*** 辅助工具
    - pylint
    #+begin_src bash :exports both
      apt install pylint # Debian
      emerge -vt pylint # Gentoo
    #+end_src
    - 编辑器的自动重排功能
      - 学习一款编辑器非常重要：Emacs、Vi、Visual Studio Code
**** 参考资料
     - [[https://www.python.org/dev/peps/pep-0008/][PEP-8]]
     - [[https://physics-data.meow.plus/faq/rules/whitebox/#_2][FAQ 的相应说明]]
* 迭代器与数组
  :PROPERTIES:
  :EXPORT_FILE_NAME: p3
  :EXPORT_DATE: 2025-06-26 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 小助教与互助限度
*** 小助教的职责范围
- 将本组同学的共性问题及时反馈给助教和老师，帮助老师根据实际情况调
  整教学方案。
- 帮助同学掌握课程内容，协助助教和老师答疑。
#+latex: \pause
**** 什么程度的帮助与借鉴可以促进学习
1. AB 讨论解决问题的思路；
2. AB 讨论关键的技巧，A 给出参考资料，引导 B 自学；
3. A 将自己的程序逐句用人类语言描述给 B，B 按照自己的理解写了一份逻辑一模一样的程序；
4. A 将自己的源码交给 B，B 在理解了原理之后丢掉了 A 的程序，自己凭记忆和理解重写了一份；
5. A 将自己的源码交给 B，B 在读懂之后进行了简单的变量名和函数定义替换；
6. A 将自己的源码交给 B，B 把程序原样提交。
*** 抄袭零容忍
- +抄袭+ 过度借鉴代码

- 作业的意义

  1. 学生验证自己是否掌握课程内容
  2. 为课程分数提供客观教学评价依据

- 课程分数的意义
 
  1. 反馈学生对课程的掌握程度
  2. 未来的导师参考
**** 本课程对抄袭的处理规则
1. 抄袭者与被抄袭者同样按抄袭处理，视情节严重程度
   - 警告，该次作业记0分；
   - 严重警告，该次作业记0分，倒扣 100%-200% 本次作业分数；
   - 总评记 F，报教务部门。
*** 案例
- A 同学帮助 B 同学，面临交作业截止，B 同学还是没法及时完成；
- A 同学把代码给 B 同学参考；
- 虽然 B 向 A 承诺只是“参考”，但由于时间紧迫 B 把代码稍加修改，提交上去；
- 因为代码雷同，两位同学都疑似抄袭。

\pause

**** B
- 作业即使迟交，也不要复制其他同学的代码。
- 迟交作业不会在网络学堂上得分，但可以作为总评时的参考。
- 消化理解课堂样例代码、助教参考代码，形成自己的方法。
- 如果感到吃力，应当在课后投入更多精力尽更大的努力地练习。

\pause

**** A
- 请继续帮助同学，注意授人以渔；
- 请保持对同学的信任。

*** 参考资料
学术诚信规则、更多案例与具体解读，详见：

https://physics-data.meow.plus/faq/plagiarism/
*** 本人心目中的理想给分梯度
    #+attr_beamer: :overlay <+->
    - D :: 学会了用 Git，以 Git 提交了大多数作业。理解了数据处理的复现、透明、
           一次和最佳工具原则。
    - C :: 在同学、小/助教、老师的帮助下完成作业的基本要求。
    - B :: 遇到困难，可以独立分析出错信息，独立查清原因并解决。遇到知识
           盲点，可以通过自学围绕实现需要快速入门。
    - A :: 独立思考，提出大作业的创新解决方法，效果出众。
    - A+ :: 解决大作业中涉及的科学界的开放问题。

** 复习
*** 课前准备
**** 安装 wget
#+begin_src bash
  apt install wget
#+end_src

**** 下载选课统计数据

#+begin_src bash
wget http://hep.tsinghua.edu.cn/~orv/teaching/physics-data/departments.csv
#+end_src

*** 复合数据结构
- 列表、元组、字典
- =defaultdict= 、 =Counter= 、 =namedtuple=
- 迭代器可以逐个访问它所包含的值的。 Python 的复合数据结构都可以看成迭代器。
**** 函数
- 定义，名字空间
- 局部变量，全局变量（不推荐！用类的变量替代）
** 类与对象
*** 为什么
- Python 的内部实现
  - 一切都是对象
    #+NAME: 116424b7-1f00-4ec7-b48b-1980730c17a0
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb
      help(1)
    #+end_src  
    给出一的是 =help(int)= ，整数是一个类。
  - 对象的要素：封装、继承、多态
  - 迭代器：定义了 =__iter__()= 方法的类。
  - 运算：
    - + :: =__add__=
    - - :: =__sub__=
- 替代全局变量
*** 极简例子
#+NAME: 70d56ba5-8079-49fe-9bbf-6df5284aca11
#+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb
  class status(object): # 继承自 "object"
      '''
      状态记录器
      '''
      def __init__(self, move=0, blank=(1,2,3)):
          self.move = move
          self.blank = blank
  s = status(1)
  print(s.move)
  s.move = 3 # 一切成员都是 public
  print(s.move)
#+end_src

#+RESULTS: 70d56ba5-8079-49fe-9bbf-6df5284aca11
: 1
: 3
- 将 =s= 传递给函数，避免使用全局变量

** 模块
*** 简介
    - 函数用来代码复用（ _一次_ 原则）
    - 模块：相关的函数和类集合起来，整理到名字空间 namespace 中
      - 模块可以用 Python 实现，也可以由 C 等编译语言实现
**** 模块导入用 =import=
     #+NAME: 24c0e631-80a6-4946-a50a-3b91e6a65b71
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
       import math
       help(math.factorial)
     #+end_src

     #+RESULTS: 24c0e631-80a6-4946-a50a-3b91e6a65b71
     : Help on built-in function factorial in module math:
     : 
     : factorial(x, /)
     :     Find x!.
     :     
     :     Raise a ValueError if x is negative or non-integral.
     : 
*** 模块别名
    - 加载模块时，可自定义名称。对长模块名有用
    #+NAME: b711a2a6-fb87-41a0-8c26-565fd786171f
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      import math as m
      m.factorial(10)
    #+end_src

    #+RESULTS: b711a2a6-fb87-41a0-8c26-565fd786171f
    : 3628800
*** 多层名字加载
    1. 直接使用多层名字空间
    2. 使用 =from=
       #+NAME: 09a4b42a-a665-48b4-afe4-eb2b0f019845
       #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
         import os
         help(os.path.abspath)
       #+end_src

       #+RESULTS: 09a4b42a-a665-48b4-afe4-eb2b0f019845
       : Help on function abspath in module posixpath:
       : 
       : abspath(path)
       :     Return an absolute path.
       : 
       #+NAME: 723d7d16-317d-477d-8707-29d769f8b330
       #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
         from os.path import abspath
         from os.path import abspath as absp
         abspath is os.path.abspath, abspath is absp
       #+end_src

       #+RESULTS: 723d7d16-317d-477d-8707-29d769f8b330
       : (True, True)
*** 自定义模块
    - Python 可以方便地定义模块以进行代码复用
    - 每个 Python 脚本都可以当作模块使用
      #+NAME: 794821bd-91d4-4a09-b4af-28b391f497dc
      #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
        cat physics_data/script.py
      #+end_src

      #+RESULTS: 794821bd-91d4-4a09-b4af-28b391f497dc
      #+begin_example
      def spherical_harmonic_fitter(grid, order):
          '''
          求球谐函数拟合的系数
          
          输入
          ~~~
          grid: 球面上连续函数在固定格点上的取值
          order: 拟合时球谐函数近似截断的阶数
          
          输出
          ~~~
          拟合系数矩阵
          '''
          
          # 具体实现省略
          pass
      
      #+end_example

*** 自定义模块（二）
    #+NAME: c6aadbd3-009e-4b67-9e72-a70ee9d8879e
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      from physics_data import script
      help(script.spherical_harmonic_fitter)
    #+end_src

    #+RESULTS: c6aadbd3-009e-4b67-9e72-a70ee9d8879e
    #+begin_example
    Help on function spherical_harmonic_fitter in module physics_data.script:

    spherical_harmonic_fitter(grid, order)
        求球谐函数拟合的系数

        输入
        ~~~
        grid: 球面上连续函数在固定格点上的取值
        order: 拟合时球谐函数近似截断的阶数

        输出
        ~~~
        拟合系数矩阵

    #+end_example
** Python 标准库模块
*** fractions 有理数才是良定义的
https://docs.python.org/3/library/fractions.html

#+NAME: 33ba1780-6c70-49f0-8c26-05e906941cc0
#+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb
  from fractions import Fraction
  Fraction(16, -10)
#+end_src

#+RESULTS: 33ba1780-6c70-49f0-8c26-05e906941cc0
: Fraction(-8, 5)
      
*** decimal 计算机对人类的妥协
https://docs.python.org/3/library/decimal.html

#+NAME: a65a7dfd-f957-488b-bff0-10e9a5cf2bbd
#+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb
  from decimal import *
  print(Decimal(1) / Decimal(7))
  print(1/7)
#+end_src

#+RESULTS: a65a7dfd-f957-488b-bff0-10e9a5cf2bbd
: 0.1428571428571428571428571429
: 0.14285714285714285

**** decimal 定义在计算中小数的保留位数
https://docs.python.org/3/library/decimal.html

#+NAME: a65a7dfd-f957-488b-bff0-10e9a5cf2123
#+begin_src ein-python
  getcontext().prec = 6
  Decimal('3.0')
  Decimal('3.1415926535')
  Decimal('3.1415926535') + Decimal('2.7182818285')
  getcontext().rounding = ROUND_UP
  Decimal('3.1415926535') + Decimal('2.7182818285')
#+end_src

#+RESULTS: a65a7dfd-f957-488b-bff0-10e9a5cf2123
: Decimal('3.0')
: Decimal('3.1415926535')
: Decimal('5.85987')
: Decimal('5.85988')

*** 迭代器
- 迭代器是一个对象，允许逐个访问容器（如列表、元组、集合）中的元素，而不必知道容器的内部实现细节。
  + 实现“迭代器协议”，在类中定义 =__iter__()= 函数。
#+beamer: \pause

**** 与容器（复合数据类型）区别
- 容器（如列表、元组、集合）是数据的 _集合_ ，而迭代器是遍历这些集合中元素的 _方式_ 。
- 迭代器提供了一种统一的访问接口，无论容器类型如何，都可以通过迭代器进行逐个访问。
  + 例子：字典可以定义多种迭代器。
  #+beamer: \pause
- 列表和元组的迭代器恰好是按顺序访问每个元素，因此容易与列表和元组本身混淆。

**** 应用
- =for= 循环由迭代器实现。列表、元组等能从迭代器创建。

#+beamer: {\scriptsize credit: 王希呈}
*** itertools 高级迭代器变换
https://docs.python.org/3/library/itertools.html
- 丰富多样的迭代器操作，巧妙运用则功能强大。

#+NAME: 62a4f13b-8d0a-46a2-9ea4-69222d934f91
#+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb
  import itertools as it

  data = [3, 4, 6, 2, 1, 9, 0, 7, 5, 8]
  list(it.accumulate(data, max))
#+end_src

#+RESULTS: 62a4f13b-8d0a-46a2-9ea4-69222d934f91
: [3, 4, 6, 6, 6, 9, 9, 9, 9, 9]

#+NAME: 0113c6ed-c7d0-43c4-8a86-62d1bab10999
#+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
  list(it.permutations(range(1, 4)))
#+end_src

#+RESULTS: 0113c6ed-c7d0-43c4-8a86-62d1bab10999
: [(1, 2, 3), (1, 3, 2), (2, 1, 3), (2, 3, 1), (3, 1, 2), (3, 2, 1)]
*** itertools 取笛卡尔积
#+NAME: 09d14370-80d9-4eb6-9d60-ba4f265a9685
#+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
  list(it.product('ABCD', repeat=2))
#+end_src

#+RESULTS: 09d14370-80d9-4eb6-9d60-ba4f265a9685
#+begin_example
[('A', 'A'),
 ('A', 'B'),
 ('A', 'C'),
 ('A', 'D'),
 ('B', 'A'),
 ('B', 'B'),
 ('B', 'C'),
 ('B', 'D'),
 ('C', 'A'),
 ('C', 'B'),
 ('C', 'C'),
 ('C', 'D'),
 ('D', 'A'),
 ('D', 'B'),
 ('D', 'C'),
 ('D', 'D')]
#+end_example
*** itertools 取可重组合
#+NAME: 893d7c0f-8a26-4113-9e54-557585efb35e
#+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
  tuple(it.combinations_with_replacement('ABCD', 2))
#+end_src

#+RESULTS: 893d7c0f-8a26-4113-9e54-557585efb35e
#+begin_example
(('A', 'A'),
 ('A', 'B'),
 ('A', 'C'),
 ('A', 'D'),
 ('B', 'B'),
 ('B', 'C'),
 ('B', 'D'),
 ('C', 'C'),
 ('C', 'D'),
 ('D', 'D'))
#+end_example
*** itertools 使用 =zip= 合并两个迭代器
#+NAME: 844ede83-04e6-462d-91b8-3601415ee269
#+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
  for i, s in zip(range(11), it.accumulate(range(11))):
      print(f"从0加到 {i} 的和是 {s}")
#+end_src

#+RESULTS: 844ede83-04e6-462d-91b8-3601415ee269
#+begin_example
从0加到 0 的和是 0
从0加到 1 的和是 1
从0加到 2 的和是 3
从0加到 3 的和是 6
从0加到 4 的和是 10
从0加到 5 的和是 15
从0加到 6 的和是 21
从0加到 7 的和是 28
从0加到 8 的和是 36
从0加到 9 的和是 45
从0加到 10 的和是 55
#+end_example
*** itertools 过滤器
#+NAME: 522450fe-3f29-46d5-a5c6-083a3a7c265d
#+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
  list(it.filterfalse(lambda n: n % 13, range(100)))
#+end_src

#+RESULTS: 522450fe-3f29-46d5-a5c6-083a3a7c265d
: [0, 13, 26, 39, 52, 65, 78, 91]
    
** 文件读写
*** 大批量输入输出
- =input()= =print()= 适合少量的信息传递
- 大批量的读写宜直接操作文件
*** 文本文件读
- 文件是迭代器，逐行。每行是字符串。
#+NAME: 236d063d-85b1-4e3c-b8f4-c30455581035
#+begin_src python :results output :session local :exports both
  import itertools as it
  with open("departments.csv") as f_input:
      for l in it.islice(f_input, 5):
          print(l, end="")
#+end_src

#+RESULTS: 236d063d-85b1-4e3c-b8f4-c30455581035
: 数学系
: 工物系
: 致理书院
: 致理书院
: 探微书院
- =with= 用来帮助在文件用完后及时关闭，防止占用和争夺资源。

#+begin_src python :results output :session local :exports both
  from collections import Counter
  with open("departments.csv") as f_input:
      print(Counter(f_input))
#+end_src

#+RESULTS:
: Counter({'致理书院\n': 30, '工物系\n': 20, '未央书院\n': 20, '物理系\n': 7, '上海交大\n': 4, '数学系\n': 1, '探微书院\n': 1})

*** 文本文件写
    #+NAME: 5b4d4307-732a-45bb-953b-b32ed48ce797
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      with open("log.txt", "w") as f:
          f.write("第一天 概论\n")
          f.write("第二天 Python 基础\n")
    #+end_src

    #+NAME: 1ed3df42-b045-47b8-a1c1-51f1ade8acad
    #+RESULTS: 5b4d4307-732a-45bb-953b-b32ed48ce797
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      cat log.txt
    #+end_src

    #+RESULTS: 1ed3df42-b045-47b8-a1c1-51f1ade8acad
    : 第一天 概论
    : 第二天 Python 基础

*** 字符处理
    - Python 内建了丰富的字符处理函数
    #+NAME: 974e3fbb-e800-4012-8dbe-6e576b97ab8e
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      s = "今天的气温是 30 摄氏度，明天是 29 摄氏度"
      print(s.count("度"))
      print(s.startswith("今天"))
      print(s.split("，"))
    #+end_src

    #+RESULTS: 974e3fbb-e800-4012-8dbe-6e576b97ab8e
    : 2
    : True
    : ['今天的气温是 30 摄氏度', '明天是 29 摄氏度']
*** 字符处理（二）
    - 娱乐[[https://ljl.li/oreooo/][奥利奥生成器]]
    #+NAME: 6dc92ea5-378a-4995-9192-20258ae1552b
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      seed = bin(2324)
      print(seed)
      print(seed[2:].replace('0',"奥").replace('1',"利"))
    #+end_src

    #+RESULTS: 6dc92ea5-378a-4995-9192-20258ae1552b
    : 0b100100010100
    : 利奥奥利奥奥奥利奥利奥奥

**** 参考资料
     - =help(str)=
     - https://docs.python.org/3.11/library/stdtypes.html#textseq
** 寻找工具
*** 更多 Python 扩展库
- 优先使用 APT (Debian) 软件管理器
  #+begin_src bash
    apt install python3-xxxxxx # Debian
  #+end_src

- 混合 APT 与 pip 要极其小心，尽量不引入 pip
  - 提 issue 求助
  - 不要使用 conda
*** 软件分发与环境整合：概念
#+BEGIN_SRC dot :file distribution.pdf
  digraph distribution {

  node [shape=box]
  U0[label = "上游作者\nSeaborn"]
  U1[label = "上游作者\nNumPy"]
  U2[label = "上游作者\nmake"]
  U3[label = "上游作者\nSQLite"]
  U1 -> D1
  U2 -> D1
  U3 -> D1
  D1[label = "环境整合\nDebian\nArch\nUbuntu\nGentoo\nConda"]
  U1 -> D2
  U0 -> D2
  D2[label = "语言管理\npip\n"]
  D1 -> S
  D2 -> S
  S[label = "用户环境"]
  }
#+END_SRC

#+attr_latex: :height 6cm
#+RESULTS:
[[file:distribution.pdf]]

- =pip= 没有整合测试，只适合早期试验个别最新 Python 软件，长期维护性差。
- 整体生产方案对应多种软件的稳定版本，经过应跨语言整合测试。
*** 环境整合分发方案
- 第三方测试整合提供环境，防止被某上游垄断并偷藏私货
  - Malicious PyPI package opens backdoors on Windows, Linux, and Macs
    #+begin_example
    Allows a remote attacker to gain unauthorized access to the application.
    #+end_example
  - =pip= 的软件没有经过第三方测试验证，使用意味着相信上游软件作者。
  - 环境整合方案会有负责安全、兼容和性能的团队，有大量同样环境的用户反馈问题。
- Debian/Arch/Gentoo 志愿者形态与 Ubuntu/Conda 公司免费形态
  - 志愿者形态的开发团队没有利益关系，人们由于共同的兴趣走到一起。
    - 无人能强制整个项目的走向，集体决策。
  - 公司免费形态利用免费服务吸引用户，构建潜在的客户池或者暗藏广告潜移默化改造用户。
    - 产品服务于公司的盈利或扩大影响的战略，代码由雇工产生。
**** 不推荐用作科学计算和数据分析
- Ubuntu 的源代码 95% 从 Debian （合法）复制，外加公司定制和[[https://www.oschina.net/news/213712/canonical-ubuntu-ad][广告]]
- Conda 的依赖关系的计算效率极低，但在公司层面调动外宣经费公关推广
*** 只有普通用户权限
 - 安装和升级软件需要系统管理员权限，具体体现为在 =apt= 前加 =sudo= 。
 - 课题组共享的服务器、超算中心的登录节点无权限怎么办？用户态软件管理

 |               | 成熟的     | 去中心     | 海量软件   | 超算中心   | 续本达                |
 |               | 管理工具   | 研发       | +物理学  | 采用       | 召集                  |
 |---------------+------------+------------+------------+------------+-----------------------|
 | Gentoo Prefix | \checkmark | \checkmark | \checkmark | \checkmark | \checkmark \checkmark |
 | nix/guix     | \checkmark | \checkmark | \checkmark |            |                       |
 | Spack         | \checkmark |            |            | \checkmark |                       |
 | conda / mamba |            |            |            |            |                       |
**** 参考
     #+latex: {\scriptsize
     Benda Xu, G. Amadio, F.Grffen, and M. Haubenwallner. “Gentoo Prefix as a Physics Software Manager.” EPJ Web of Conferences 245 (2020): 05036.
     #+latex: }
*** 推荐：软件管理与环境配置
#+latex: {\Large
- 自己的机器用 Debian：工具安装用 =apt=
- 别人的机器用 Gentoo Prefix：工具安装用 =emerge=
#+latex: }

** Python 科学计算
*** NumPy: Numeric Python
    - NumPy 起源于使用 Python 语言调用 fortran 进行线性代数运算的需求。
    - 已经发展成为 Python 科学计算的基石
    - 参考书：[[http://scipy-lectures.org/][Scipy Lecture Notes]]
**** 安装 NumPy 和相关工具
#+begin_src bash :exports both
  apt install python3-numpy python3-scipy python3-h5py
#+end_src
- 验证是否安装成功
#+begin_src bash
python3 -c "from numpy import version; print(version.version)"
#+end_src

#+RESULTS:
: 1.24.2


*** SciPy: Scientific Python
    - NumPy 定义高效的数据结构
    - SciPy 在 NumPy 的基础上提供的数值计算算法
      #+beamer: {\scriptsize
      - scipy.cluster :: Vector quantization / Kmeans
      - scipy.constants :: Physical and mathematical constants
      - scipy.fftpack :: Fourier transform
      - scipy.integrate :: Integration routines
      - scipy.interpolate :: Interpolation
      - scipy.io :: Data input and output
      - scipy.linalg :: Linear algebra routines
      - scipy.ndimage :: n-dimensional image package
      - scipy.odr :: Orthogonal distance regression
      - scipy.optimize :: Optimization
      - scipy.signal :: Signal processing
      - scipy.sparse :: Sparse matrices
      - scipy.spatial :: Spatial data structures and algorithms
      - scipy.special :: Any special mathematical functions
      - scipy.stats :: Statistics
      #+beamer: }
** NumPy 数组
*** 创建和索引数组
    #+NAME: 876695f5-63ca-4f31-b2cd-e2b2d2d5ecef
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      import numpy as np

      nv = np.array([1,2,3,4,3,2,1])
      print(nv, nv[2], nv[5:])
      print(nv[-1], nv[::2])
    #+end_src

    #+RESULTS: 876695f5-63ca-4f31-b2cd-e2b2d2d5ecef
    : [1 2 3 4 3 2 1] 3 [2 1]
    : 1 [1 3 3 1]

**** 数组语法与列表相似，可能相互转换，区别在于：
      - 数组要求元素的数据类型被预设且一致，列表 (List) 无此要求
      - 数组的存储是一段连续的内存空间，列表不是
      - 以上两点使得在数值计算中，数组的效率比列表高很多

*** 二维数组用来表示矩阵
    #+NAME: 56020a88-3470-4d85-a0c8-3e4735bdd30a
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      ma = np.array([[1,0], [0,1]])
      print(ma)
    #+end_src

    #+RESULTS: 56020a88-3470-4d85-a0c8-3e4735bdd30a
    : [[1 0]
    :  [0 1]]

    #+NAME: 97484cfa-c3e7-4e80-8285-643c862b0ca9
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      type(ma), ma.shape
    #+end_src

    #+RESULTS: 97484cfa-c3e7-4e80-8285-643c862b0ca9
    : (numpy.ndarray, (2, 2))
*** 常数数组的创建
    #+NAME: 8b112df2-44f9-43f8-8a1a-780ae69d671c
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      print(np.ones((3, 3)))
      print(np.zeros((4, 4)))
    #+end_src

    #+RESULTS: 8b112df2-44f9-43f8-8a1a-780ae69d671c
    : [[1. 1. 1.]
    :  [1. 1. 1.]
    :  [1. 1. 1.]]
    : [[0. 0. 0. 0.]
    :  [0. 0. 0. 0.]
    :  [0. 0. 0. 0.]
    :  [0. 0. 0. 0.]]
**** 随机矩阵的创建
     #+NAME: 2859355f-fd4f-485b-bd79-0ce145be1e01
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
       print(np.random.rand(2,5))
     #+end_src

     #+RESULTS: 2859355f-fd4f-485b-bd79-0ce145be1e01
     : [[0.80632296 0.53845746 0.00714721 0.84843748 0.32654466]
     :  [0.56930226 0.35817586 0.45108818 0.14484227 0.65463473]]

*** 创建单位矩阵
    - =np.eye= 读与大写字母 =I= 相同的读法
      #+NAME: e02dc52a-fcaa-44cb-b1da-aeb50e13fa79
      #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
        e = np.eye(4)
        print(e)
      #+end_src

      #+RESULTS: e02dc52a-fcaa-44cb-b1da-aeb50e13fa79
      : [[1. 0. 0. 0.]
      :  [0. 1. 0. 0.]
      :  [0. 0. 1. 0.]
      :  [0. 0. 0. 1.]]
*** 对角元
    - 取矩阵对角元
    #+NAME: c0223859-0d85-4e6c-9147-63e4411aa306
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
print(np.diag(e))
    #+end_src

    #+RESULTS: c0223859-0d85-4e6c-9147-63e4411aa306
    : [1. 1. 1. 1.]

    - 由对角元生成对角矩阵
    #+NAME: f3f3aabc-e223-4d28-984f-232bc11f2ab5
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
print(np.diag(np.arange(5)))
    #+end_src

    #+RESULTS: f3f3aabc-e223-4d28-984f-232bc11f2ab5
    : [[0 0 0 0 0]
    :  [0 1 0 0 0]
    :  [0 0 2 0 0]
    :  [0 0 0 3 0]
    :  [0 0 0 0 4]]
*** 叠放
    #+NAME: b60be528-b75f-4927-8a86-10409123241f
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      np.tile(e,2)
    #+end_src

    #+RESULTS: b60be528-b75f-4927-8a86-10409123241f
    : array([[1., 0., 0., 0., 1., 0., 0., 0.],
    :        [0., 1., 0., 0., 0., 1., 0., 0.],
    :        [0., 0., 1., 0., 0., 0., 1., 0.],
    :        [0., 0., 0., 1., 0., 0., 0., 1.]])
** 多维索引
*** 数组的形状
   - 创建一个 \( 10 \times 10 \) 的数组
   #+NAME: 84efbc47-8ca1-465c-bb08-8562e9b80365
   #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
     m = np.arange(100, dtype=int)
     print(m)
     m.shape = (10, 10)
     print(m)
   #+end_src

   #+RESULTS: 84efbc47-8ca1-465c-bb08-8562e9b80365
   #+begin_example
   [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
    24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
    48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71
    72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95
    96 97 98 99]
   [[ 0  1  2  3  4  5  6  7  8  9]
    [10 11 12 13 14 15 16 17 18 19]
    [20 21 22 23 24 25 26 27 28 29]
    [30 31 32 33 34 35 36 37 38 39]
    [40 41 42 43 44 45 46 47 48 49]
    [50 51 52 53 54 55 56 57 58 59]
    [60 61 62 63 64 65 66 67 68 69]
    [70 71 72 73 74 75 76 77 78 79]
    [80 81 82 83 84 85 86 87 88 89]
    [90 91 92 93 94 95 96 97 98 99]]
   #+end_example

   - 修改 =shape= 可以把一维数组解释成二维的
*** 二维索引
    #+NAME: 0580a4b8-ba8e-436b-b374-ea89a644d66f
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      m6 = m[:6, :6]
      m6[:, 2]
    #+end_src

    #+RESULTS: 0580a4b8-ba8e-436b-b374-ea89a644d66f
    : array([ 2, 12, 22, 32, 42, 52])
    #+Attr_LaTeX: :height 0.4\textheight
    [[./fig/array-index.png]]
*** 二维任意索引
    - 分别传两个相等形状的索引数组，按索引数组形状排列对应的输出
    #+NAME: 36a17f43-aa4c-40cc-83e9-ba4e5d5b05d9
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      print(m6)
      print(m6[[1, 2, 3], [3, 4, 5]])
      print(m6[[[1], [2]], [[3], [4]]])
    #+end_src

    #+RESULTS: 36a17f43-aa4c-40cc-83e9-ba4e5d5b05d9
    : [[ 0  1  2  3  4  5]
    :  [10 11 12 13 14 15]
    :  [20 21 22 23 24 25]
    :  [30 31 32 33 34 35]
    :  [40 41 42 43 44 45]
    :  [50 51 52 53 54 55]]
    : [13 24 35]
    : [[13]
    :  [24]]
** 数组运算
*** 整体运算
    - 一般的运算符都可以在数组上使用
    - 可以省去循环，使用程序比 =map= 和列表生成更简明易懂
    #+NAME: 516153c7-3d16-493e-9584-e31cee4d2fc3
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      n = np.arange(10)
      print(n**2)
      print([v**2 for v in n]) # 对比
    #+end_src

    #+RESULTS: 516153c7-3d16-493e-9584-e31cee4d2fc3
    : [ 0  1  4  9 16 25 36 49 64 81]
    : [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

**** 索引与运算结合
     #+NAME: 5dc0094b-ecaa-4a8b-8297-a1c8972650b6
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
       nr = n[::-1]
       print(nr + n)
       print(n[::2] + 100)
     #+end_src

     #+RESULTS: 5dc0094b-ecaa-4a8b-8297-a1c8972650b6
     : [9 9 9 9 9 9 9 9 9 9]
     : [100 102 104 106 108]

*** 数组的总体特征
    - 求和、平均、中位数、方差、标准差
      #+NAME: b2956027-a17e-4734-8b26-fd82e1c36931
      #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
        np.sum(n), np.mean(n), np.median(n), np.var(n), np.std(n)
      #+end_src

      #+RESULTS: b2956027-a17e-4734-8b26-fd82e1c36931
      : (45, 4.5, 4.5, 8.25, 2.8722813232690143)

    - 选择性地对二维数组的某个维度求值，省去两重循环。
      #+NAME: 727f4666-8370-4aaa-a1af-cd1c5c79fe6a
      #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
        np.sum(m, axis=0), np.median(m, axis=1)
      #+end_src

      #+RESULTS: 727f4666-8370-4aaa-a1af-cd1c5c79fe6a
      : (array([450, 460, 470, 480, 490, 500, 510, 520, 530, 540]),
      :  array([ 4.5, 14.5, 24.5, 34.5, 44.5, 54.5, 64.5, 74.5, 84.5, 94.5]))

*** 数组的扩展
    - 把一维数组扩展成二维，补齐形状
      #+NAME: 58ee37d5-027e-4a31-bd94-b2f4f77082ea
      #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
        n[None, :] + n[:, None]
      #+end_src

      #+RESULTS: 58ee37d5-027e-4a31-bd94-b2f4f77082ea
      #+begin_example
      array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9],
             [ 1,  2,  3,  4,  5,  6,  7,  8,  9, 10],
             [ 2,  3,  4,  5,  6,  7,  8,  9, 10, 11],
             [ 3,  4,  5,  6,  7,  8,  9, 10, 11, 12],
             [ 4,  5,  6,  7,  8,  9, 10, 11, 12, 13],
             [ 5,  6,  7,  8,  9, 10, 11, 12, 13, 14],
             [ 6,  7,  8,  9, 10, 11, 12, 13, 14, 15],
             [ 7,  8,  9, 10, 11, 12, 13, 14, 15, 16],
             [ 8,  9, 10, 11, 12, 13, 14, 15, 16, 17],
             [ 9, 10, 11, 12, 13, 14, 15, 16, 17, 18]])
      #+end_example

    - 代替二重循环
      #+NAME: 5f429c3a-9717-452e-963b-3fac426f272f
      #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
        np.array([x + y for x in n for y in n]).reshape(10, 10)
      #+end_src
* 矩阵与张量运算
  :PROPERTIES:
  :EXPORT_FILE_NAME: p4
  :EXPORT_DATE: 2025-06-30
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习
*** 课前准备
下载 =asym.py=

  https://git.tsinghua.edu.cn/physics-data/lecture/-/blob/master/asym.py

保存到课堂练习的路径

*** Python 的模块

模块是一系列相关的变量、函数和类的集合，可以由程序复用。使用 =import=, =from=, =as= 等调用

#+begin_src python
  import fractions
  import fractions as frcs
  from fractions import Fraction
  from fractions import Fraction as Frc
#+end_src

**** 模块的例子
- fractions :: 无限精度分数
- decimal :: 十进制小数
- itertools :: 迭代器
- NumPy :: 数值计算
- SciPy :: 科学计算

*** 单 Python 脚本式模块
#+begin_src python :results value :session local :exports both
  from asym import eps

  eps(4).shape
#+end_src

#+RESULTS:
| 4 | 4 | 4 | 4 |

*** 文件读写
- 文本文件在 Python 中被抽象成迭代器。
- 使用 =with= 让与外部资源交互（如文件）的代码更简洁。

#+begin_src python :results output :session local :exports both
  from collections import Counter
  with open("departments.csv") as f_input:
      print(Counter(f_input))
#+end_src

#+RESULTS:
    : Counter({'致理书院\n': 30, '工物系\n': 20, '未央书院\n': 20, '物理系\n': 7, '上海交大\n': 4, '数学系\n': 1, '探微书院\n': 1})

*** NumPy
- 数组
  - 与元组、列表的异同
  - 创建
  - 下标的范围
  - 下标的扩展
  - 替代循环
    #+begin_src python :results value :session local :exports both
      import numpy as np
      
      n = np.arange(10)
      n**2
    #+end_src

    #+RESULTS:
    | 0 | 1 | 4 | 9 | 16 | 25 | 36 | 49 | 64 | 81 |

** 乘法
元素的乘法是逐个数字相乘。

*** 元素乘法与矩阵乘法的区别
    - 矩阵乘法是张量缩并的特例
      \[ \sum_j a_{ij} b_{jk} = c_{ik} \]
    - 元素乘法是逐个数字相乘
      \[ a_{ij} b_{ij} = c_{ij} \]

      #+NAME: 7738713a-b2e2-4077-989d-7fceade7f101
      #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
        a = b = np.ones((2,2))
        print(a * b)
        print(a @ b)
      #+end_src

      #+RESULTS: 7738713a-b2e2-4077-989d-7fceade7f101
      : [[1. 1.]
      :  [1. 1.]]
      : [[2. 2.]
      :  [2. 2.]]

*** 张量
- 矩阵可表示为两个下标的矩阵元：二阶张量 \(a_{ij}\)。
  + 三个下标：三阶张量 \(b_{ijk}\)。
  + 一个下标：向量 \(x_i\)。
  + 无下标：标量。

*** 张量乘法
- =tensordot= ，可标注哪些下标进行缩并

  #+begin_src python :results value :session local :exports both
    a = np.arange(60.).reshape(3,4,5)
    b = np.arange(24.).reshape(4,3,2)
    np.tensordot(a,b, axes=([1,0],[0,1]))
  #+end_src

  #+RESULTS:
  | 4400 | 4730 |
  | 4532 | 4874 |
  | 4664 | 5018 |
  | 4796 | 5162 |
  | 4928 | 5306 |

*** 爱因斯坦约定
- =einsum=
  #+begin_src python :results value :session local :exports both
    a = np.arange(25).reshape(5,5)
    b = np.arange(5)
    np.einsum('ii', a) # 取迹
  #+end_src

  #+RESULTS:
  : 60
  
  #+begin_src python :results value :session local :exports both
    np.einsum('ij->i', a) # 对 'j' 方向求和
  #+end_src

  #+RESULTS:
  | 10 | 35 | 60 | 85 | 110 |

  #+begin_src python :results value :session local :exports both
    np.einsum('ij,j', a, b) # 矩阵乘法
  #+end_src

  #+RESULTS:
  | 30 | 80 | 130 | 180 | 230 |

*** 爱因斯坦约定用于复杂张量运算
#+begin_src python :results value :session local :exports both
  a = np.arange(60.).reshape(3,4,5)
  b = np.arange(24.).reshape(4,3,2)
  np.einsum('ijk,jil->kl', a, b)
#+end_src

#+RESULTS:
| 4400 | 4730 |
| 4532 | 4874 |
| 4664 | 5018 |
| 4796 | 5162 |
| 4928 | 5306 |

**** 灵活缩并
#+begin_src python :results value :session local :exports both
  a = np.ones(64).reshape(2,4,8)
  np.einsum('ijk,ilm,njm,nlk',a,a,a,a)
#+end_src

#+RESULTS:
: 4096.0

*** NumPy 语法的启示
当代码语法的描述能力不断变强时，可能比数学公式还简单。

\[ \sum_{i=1}^I \sum_{j=1}^J \sum_{k=1}^K \sum_{l=1}^L \sum_{m=1}^M \sum_{n=1}^N a_{ijk} a_{ilm} a_{njm} a_{nlk} \]

- 经典的 formula translation (Fortran 语言)，先推导再转成程序。
  + 可能用程序来描述公式的推导吗？
  + 程序帮助我们推导公式？

** Pauli 矩阵
*** Pauli 矩阵的定义
- 在量子力学中为自旋\(\frac{1}{2}\)态空间下的角动量算符表示。

#+begin_export latex
\begin{equation*}
\sigma_1 = \begin{pmatrix}
  0 & 1 \\
  1 & 0
\end{pmatrix}, \sigma_2 = \begin{pmatrix}
  0 & -i \\
  i & 0
\end{pmatrix}, \sigma_3 = \begin{pmatrix}
  1 & 0 \\
  0 & -1
\end{pmatrix}
\end{equation*}
#+end_export

- 科学发展的顺序和培养方案的顺序不同。 Heisenberg 发明矩阵力学时还未掌握矩阵。
  + 即使尚未掌握量子力学也可以熟悉 Pauli 矩阵并进行计算。
*** Pauli 矩阵的对易关系
#+begin_export latex
\begin{equation*}
  \sigma_1 \sigma_2 = \begin{pmatrix}
  0 & 1 \\
  1 & 0
\end{pmatrix} \begin{pmatrix}
  0 & -i \\
  i & 0
\end{pmatrix} = \begin{pmatrix}
  i & 0 \\
  0 & -i
\end{pmatrix} = i \begin{pmatrix}
  1 & 0 \\
  0 & -1
\end{pmatrix} = i\sigma_3
\end{equation*}
#+end_export

同理，

#+begin_export latex
\begin{equation*}
  \begin{aligned}
    \sigma_2\sigma_1 &= -i\sigma_3\\
    \sigma_2\sigma_3 &= i\sigma_1\\
    \sigma_3\sigma_2 &= -i\sigma_1\\
    \sigma_3\sigma_1 &= i\sigma_2\\
    \sigma_1\sigma_3 &= -i\sigma_2
  \end{aligned}
\end{equation*}
#+end_export

*** Pauli 矩阵
    - 构造三个 Pauli 矩阵
    #+NAME: cea0bdbe-0e4f-45fb-98a3-21f5d0c0142f
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      pauli = []
      pauli.append(np.array([0,1,1,0]).reshape(2,2))
      pauli.append(np.array([0,-1j,1j,0]).reshape(2,2))
      pauli.append(np.array([1,0,0,-1]).reshape(2,2))
      for m in pauli:
          print(m)
    #+end_src

    #+RESULTS: cea0bdbe-0e4f-45fb-98a3-21f5d0c0142f
    : [[0 1]
    :  [1 0]]
    : [[ 0.+0.j -0.-1.j]
    :  [ 0.+1.j  0.+0.j]]
    : [[ 1  0]
    :  [ 0 -1]]

*** 计算迹和本征值
    #+NAME: 57e49468-a2c8-469f-aa42-ffbc7bd25a07
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      for m in pauli:
          print("trace is {};".format(np.trace(m)),
                "eigenvalues are: ", np.linalg.eigvals(m))
    #+end_src

    #+RESULTS: 57e49468-a2c8-469f-aa42-ffbc7bd25a07
    : trace is 0; eigenvalues are:  [ 1. -1.]
    : trace is 0j; eigenvalues are:  [ 1.+0.j -1.+0.j]
    : trace is 0; eigenvalues are:  [ 1. -1.]

*** 验证对易关系
    #+NAME: ce310845-7c56-4745-9c76-0b43f0372771
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      def commute(a,b):
           '''
           commutation operator: ab-ba
           '''
           return a@b - b@a

      for i in range(3):
          l = (i+1) % 3
          m = (i+2) % 3
          if np.all(commute(pauli[i], pauli[l]) == 2j * pauli[m]):
              print(f"[ pauli_{i} , pauli_{l} ] == 2i pauli_{m}")
    #+end_src

    #+RESULTS: ce310845-7c56-4745-9c76-0b43f0372771
    : [ pauli_0 , pauli_1 ] == 2i pauli_2
    : [ pauli_1 , pauli_2 ] == 2i pauli_0
    : [ pauli_2 , pauli_0 ] == 2i pauli_1

*** 彻底避免使用列表和 for 循环
- 构造 Pauli 矩阵时使用了列表和 for 循环，不够简洁
- 直接构造张量计算，省去交换关系验证中的循环

**** 将 Pauli 矩阵的下标当成高一阶的张量
\[ [\sigma_i, \sigma_j] = 2i \epsilon_{ijk} \sigma^k \]
- (\epsilon_{ijk}) 是全反称张量，指标有相同时为 0，指标奇排列为 -1 ，偶排列时为 1。
#+begin_src python :results value :session local :exports both
  from asym import eps
  eps(3)
#+end_src

#+RESULTS:
#+begin_example
array([[[ 0.,  0.,  0.],
        [ 0.,  0.,  1.],
        [ 0., -1.,  0.]],

       [[ 0.,  0., -1.],
        [ 0.,  0.,  0.],
        [ 1.,  0.,  0.]],

       [[ 0.,  1.,  0.],
        [-1.,  0.,  0.],
        [ 0.,  0.,  0.]]])
#+end_example

*** Pauli 矩阵的对易关系验证
\[ [\sigma_i, \sigma_j] = 2i \epsilon_{ijk} \sigma^k \]

#+begin_src python :results value :session local :exports both
  import numpy as np
  pauli = np.array([np.array([(0,1),(1,0)]),
                    np.array([(0,-1j),(1j,0)]),
                    np.array([(1,0),(0,-1)])])
  pp = np.einsum('ixy,jyz->ijxz', pauli, pauli)
  commutate = pp - np.transpose(pp, (1,0,2,3))
  np.all(commutate == 2j * np.tensordot(eps(3), pauli, axes=([2], [0])))
#+end_src

#+RESULTS:
: True

*** Pauli 矩阵的反对易关系验证
\[ \{\sigma_i, \sigma_j\} = 2 \delta_{ij} I\]

#+begin_src python :results value :session local :exports both
  ac = pp + np.transpose(pp, (1,0,2,3))
  np.all(ac == 2 * np.einsum('ij,xz->ijxz', np.eye(3), np.eye(2))
#+end_src

- 掌握物理学原理：这些形式化的验证，让我们无跳跃步骤地 *彻底* 完成推导。
** Dirac 矩阵
*** Dirac 矩阵的对易关系
    \[
\gamma^0 = \begin{pmatrix} 
1 & 0 & 0 & 0 \\
0 & 1 & 0 & 0 \\ 
0 & 0 & -1 & 0 \\
0 & 0 & 0 & -1 \end{pmatrix}, \quad
\gamma^1 = \begin{pmatrix}
0 & 0 & 0 & 1 \\
0 & 0 & 1 & 0 \\
0 & -1 & 0 & 0 \\
-1 & 0 & 0 & 0 \end{pmatrix}
\]

\[
\gamma^2 = \begin{pmatrix}
0 & 0 & 0 & -i \\
0 & 0 & i & 0 \\
0 & i & 0 & 0 \\
-i & 0 & 0 & 0 \end{pmatrix}, \quad
\gamma^3 = \begin{pmatrix}
0 & 0 & 1 & 0 \\
0 & 0 & 0 & -1 \\
-1 & 0 & 0 & 0 \\
0 & 1 & 0 & 0 \end{pmatrix}
 \]

 \[ \{\gamma^\mu, \gamma^\nu\} = 2 \eta^{\mu\nu}I \]

- \(\{A, B\} = AB + BA\) 是 *反对易子*
- \(\eta^{\mu\nu}\) 是闵可夫斯基度规 =np.diag((1, -1, -1, -1))=

*** Dirac 矩阵代数
- 定义 \(\gamma^5 \equiv i \gamma^0 \gamma^1 \gamma^2 \gamma^3 \)
- \(\gamma_\mu = \eta_{\mu\nu} \gamma^\nu \)
  + \eta_{\mu\nu} 也是是闵可夫斯基度规 =np.diag((1, -1, -1, -1))=

**** NumPy 编程验证：
  + \(\gamma^5\) 是厄米阵
  + \((\gamma^5)^2 = I\)
  + \(\{\gamma^5, \gamma^\nu\} = 0\)
  + \(\gamma^\nu \gamma_\nu = 4 I\)
  + \(\gamma^\mu \gamma^\nu \gamma^\rho \gamma_\mu = 4 \eta^{\nu\rho} I\)
  + \(\Tr(\gamma^\mu) = 0\)
  + \(\Tr(\gamma^\mu\gamma^\nu) = 4 \eta^{\mu\nu}\)
  + \(\Tr(\gamma^5) = 0\)
*** Dirac 矩阵
#+begin_src python :results value :session local :exports both
  import numpy as np
  pauli = np.array([[[0,1],[1,0]],
                    [[0,-1j],[1j,0]],
                    [[1,0],[0,-1]]])
  gamma0 = np.diag((1,1,-1,-1))
  gamma2p = np.diag((-1j,1j,1j,-1j))
  dirac = np.array((gamma0,
                    gamma0[:, ::-1],
                    gamma2p[:, ::-1],
                    np.roll(np.diag((1,-1,-1,1)), 2, axis=1)))
#+end_src

#+RESULTS:
*** 验证 Dirac 矩阵的反对易关系
\[ \{\gamma^\mu, \gamma^\nu\} = 2 \eta^{\mu\nu}I \]

#+begin_src python :results value :session local :exports both
  def anticomm(x, y):
      '''
      反对易子操作
      ===========
      传入 x 和 y 张量，
      其后两阶可以解读为矩阵。

      返回, xy + yx 的张量值。
      '''
      return x @ y + y @ x
#+end_src

#+RESULTS:

#+begin_src python :results value :session local :exports both
  mkov = np.diag((1,-1,-1,-1))
  np.all(anticomm(dirac[None], dirac[:, None]) ==
         2 * np.einsum('ij,xz->ijxz', mkov, np.eye(4)))
#+end_src

#+RESULTS:
: True

*** \(\gamma^5\) 是 Hermite 阵
#+begin_src python :results value :session local :exports both
  gamma5 = 1j * dirac[0] @ dirac[1] @ dirac[2] @ dirac[3]
  np.all(np.conj(gamma5.T) == gamma5)
#+end_src

#+RESULTS:
: True

*** \(\gamma^5\) 平方是单位阵
\[(\gamma^5)^2 = I\]

#+begin_src python :results value :session local :exports both
  np.all(gamma5 @ gamma5 == np.eye(4))
#+end_src

#+RESULTS:
: True

*** \(\gamma^5\) 与 \(\gamma^\mu\) 的反对易关系
\[\{\gamma^5, \gamma^\nu\} = 0\]

#+begin_src python :results value :session local :exports both
  np.all(anticomm(gamma5[None], dirac) == 0)
#+end_src

#+RESULTS:
: True

*** 归一性
\[\gamma^\nu \gamma_\nu = 4 I\]

#+begin_src python :results value :session local :exports both
  np.all(np.einsum('ixy,ij,jyz->xz', dirac, mkov, dirac) == 4 * np.eye(4))
#+end_src

#+RESULTS:
: True

\[ \Tr(\gamma^\mu\gamma^\nu) = 4 \eta^{\mu\nu} \]

#+begin_src python :results value :session local :exports both
  np.all(np.einsum('ixy,jyx', dirac, dirac) == 4 * mkov)
#+end_src

#+RESULTS:
: True

*** 四 \(\gamma\) 同框
\[\gamma^\mu \gamma^\nu \gamma^\rho \gamma_\mu = 4 \eta^{\nu\rho} I\]

#+begin_src python :results value :session local :exports both
  np.all(np.einsum('xab,jbc,kcd,xy,yde->jkae', dirac,dirac,dirac,mkov,dirac)
         == 4 * np.einsum('ij,xy->ijxy', mkov, np.eye(4)))
#+end_src

#+RESULTS:
: True

*** 迹
\[ \Tr(\gamma^\mu) = 0 \]
#+begin_src python :results value :session local :exports both
  np.all(np.einsum('ixx', dirac) == 0)
#+end_src

#+RESULTS:
: True

\[ \Tr(\gamma^5) = 0 \]

#+begin_src python :results value :session local :exports both
  np.trace(gamma5)
#+end_src

#+RESULTS:
: 0j

** 备用
*** 同学们的建议反馈（一）
    #+attr_beamer: :overlay <+->
    - 希望可以多一点写代码的指导
     
      课上的例子是写代码的指导。如果不够，同学之间和小助教多讨论切磋。

    - 希望自己学好，谢谢助教和老师（约占 40%）
     
      好！我们一起努力克服困难。

    - 希望学到更多对实验物理研究有用的工具

      好！这是本人十几年来一直不变的初心。

    - 希望作业能简单一点，分高一点

      作业的难度和给分高低服务于课程目标的设计。

      世界上本没有水课，太简单分太高就成了水课。

*** 同学们的建议反馈（二）
    - 我实在是太菜了，助教总是凶巴巴，可以温柔一点吗？

      有些人明白他们不该粗鲁或傲慢的提问并要求得到答复，但他们选择另一
      个极端 —— 低声下气：我知道我只是个可悲的新手，一个撸瑟，但...。这
      既使人困扰，也没有用，尤其是伴随着与实际问题含糊不清的描述时更令
      人反感。

      别用原始灵长类动物的把戏来浪费你我的时间。取而代之的是，尽可能清
      楚地描述背景条件和你的问题情况。这比低声下气更好地定位了你的位置。

      —— Eric Raymond，提问的智慧

*** “菜”问题
- 解决未知问题是本课程的教学目标，也是数据时代黑客技能的基本组成部分，不要放弃宝贵的学习机会。
- 希望同学在提问之前，做一些努力，尝试先自己解决问题。
- 查找 FAQ 和群聊天记录，可能已经有人遇到并解决了同样问题。
- 提问时，把问题描述清楚，不要说自己“菜”“弱”。

**** 课堂豁免                                                  :B_alertblock:
     :PROPERTIES:
     :BEAMER_env: alertblock
     :END:
     - 在课堂上，没有时间作系统调研，以上规则不适用。
     - 课堂上遇到疑惑，请你大声发问！这也是在帮助同学和老师。

*** 同学们的建议反馈（三）
    - 作业难度跳跃太大

      是这样的。

    - 从以往的大作业项目看，强烈建议大作业中给出更加详细的公式、推导过
      程和计算方法，以便没有选修过相关课程的同学可以更好地理解项目的背
      景知识、数值计算方法等。期待不要把作业中没有讲的东西都扔给自学。

      参考老师理解的给分梯度，请在遇到知识盲点时，通过自学补足。大作业
      的设计目标是模拟科研环境，客观世界从不在乎你已经学过什么。

    - 希望讲授的时候能够慢一些（约占 15%）

      请在课堂上遇到困难时直接发问，本人会加入更多的反馈机制。

    - 希望讲授的时候能够快一些（约占 10%）

      请帮助周围的同学，或直接去解决大作业中的开放问题。

*** 同学们的建议反馈（四）
    - 希望能简单的列出之后的上课大纲，方便同学们预习
     
      好。

    - 期待马上上手机器学习，希望学习神经网络
     
      #+Attr_LaTeX: :height 0.4\textheight
      [[./fig/Data_Science_VD.png]]
     
      - 炒菜式的机器学习非常简单，不用上课也可以学会。

      - 有了 Hacking skills 和数理统计的功底，机器学习才能发挥出作用。

*** 同学们的建议反馈（五）
- 希望详细演示下debug的过程

  好！

- 希望了解更多的linux的骚气操作
 
  好！第三周。

- 希望老师多讲解每个知识点的具体应用的意义。少讲语法，突出物理

  好！

- 建议作业和课件在课程开始时就全部发放

  课件可以，作业课后发。

- 将所有同学问过的问题整理到某个地方。
  - https://physics-data.meow.plus/faq/
  - 你学习如何通过关键词提示找到答案
- 希望老师多举一些例子，整理出来发给大家。优秀代码分享。

  好！

*** 如何通过关键词提示找到答案
    - 搜索引擎的用法演示

      https://zh.lmgtfy.com/

      https://www.google.com/

      http://www.bing.com/

      https://duckduckgo.com/

      其它的搜索引擎都强烈不推荐。

*** 提问的智慧节选
    - 如果你的问题被人无视了，请对号入座：

    - 问题：我能在哪找到 X 程序或 X 资源？

      - 回答：就在我找到它的地方啊，白痴 —— 搜索引擎的那一头。天哪！难道还有人不会用 Google 吗？

    - 问题：我怎样用 X 做 Y？

      - 回答：如果你想解决的是 Y ，提问时别给出可能并不恰当的方法。这种问题说明提问者不但对 X 完全无知，也对 Y 要解决的问题糊涂，还被特定形势禁锢了思维。最好忽略这种人，等他们把问题搞清楚了再说。

    - 问题：如何设定我的 shell 提示？？

      - 回答：如果你有足够的智慧提这个问题，你也该有足够的智慧去 RTFM，然后自己去找出来。

    - 问题：我可以用 Bass-o-matic 文件转换工具将 AcmeCorp 档案转换为 TeX 格式吗？

      - 回答：试试看就知道了。如果你试过，你既知道了答案，就不用浪费我的时间了。

*** 提问的智慧节选（续）
    - 问题：我的{程序/设定/SQL 语句}不工作

      - 回答：这不算是问题吧，我对要我问你二十个问题才找得出你真正问题的问题没兴趣 —— 我有更有意思的事要做呢。在看到这类问题的时候，我的反应通常不外如下三种

      1. 你还有什么要补充的吗？
      2. 真糟糕，希望你能搞定。
      3. 这关我有什么屁事？

*** 新规则
    - 具体问题，请到 https://git.tsinghua.edu.cn/physics-data/faq/-/issues/
     
      方便遇到类似问题的同学快速找到。

    - 当你的问题得到解答后，助教可能觉得此问题非常有价值。请配合助教发
      Pull Request，将它收集到 https://physics-data.meow.plus/faq/ 。
* 数据存储格式
  :PROPERTIES:
  :EXPORT_FILE_NAME: p5
  :EXPORT_DATE: 2025-07-01 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习准备
*** 环境准备
**** 加入课程 Debian 软件源
- 创建 =/etc/apt/sources.list.d/pd.list= 填入以下内容
  #+begin_example
    deb [trusted=yes] http://hep.tsinghua.edu.cn/~wuyy/debian bookworm main
  #+end_example
- 更新索引并安装 Apache Arrow 用于 parquet 读写
  #+begin_src bash
    apt update
    apt install python3-pyarrow
  #+end_src
  
*** 安装 HDF5、CSV 和 JSON 的相关工具
#+begin_src bash
  apt install vitables csvkit python3-h5py hdf5-tools jq python3-pandas
#+end_src

- 数据
#+begin_src bash
  wget 'http://hep.tsinghua.edu.cn/~orv/distfiles/C3--Trace--99996.txt.xz'
  unxz C3--Trace--99996.txt.xz
  wget 'http://hep.tsinghua.edu.cn/~orv/pd/BBH_events_v3.json'
  wget 'http://hep.tsinghua.edu.cn/~orv/pd/4426232.json.xz'
  unxz 4426232.json.xz
#+end_src

*** 矩阵与张量运算
要善于使用 NumPy 的运算替代循环结构。

- =@=
- =tensordot=
- =einsum=

**** 张量形式验证
Pauli 矩阵与 Dirac 矩阵的代数性质。

** 数据格式
在操作层面上，我们做实验的目标是取得数据，数据是实验结果的载体。有了数据才能获得科学结果。
而数据格式的重要性，在于影响透明原则的贯彻。

*** 透明原则
- 把大规模的数组高效地存储到磁盘上，是数据处理的关键。
  - 大时间尺度上看，数据 = 储存的文件
- 数据处理的结果，不仅在符合计算机的约定标准，还要对人类友好。
- 数据格式本质上是内存磁盘的双向数据转化，关键问题是
  - 转化过程中是否有损失？
  - 转化是否方便？
#+beamer: \pause
**** 反例
- 违反透明原则。
- 只有某个操作系统上才能读取的数据文件，操作系统只能在某种计算机硬件上运行。
*** lecture                                                 :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
但世界上有诸多情况下，数据的格式会被无意或故意地做成不透明的。在此我们介绍四类推荐的透明数据格式。

*** 自制二进制格式
- KamLAND，JUNO 中微子实验
- 问题
  1. 除了指定的 C++ 工具库，无法读取中间结果，违反“透明”原则
  2. 新成员必须学习非通用的数据接口和方法，门槛高且无用
  3. 数据格式与库深层绑定，必须同步升级，新库无法读取旧数据
#+beamer:\pause
- 解决方案：使用指定语言，以最小代码开发不透明数据到透明关系数据（例如 HDF5）的转换器
  - 数据格式转换器比函数跨语言调用更可靠，有效解耦合
  - 如 Python 调用 C++ 和 R 容易出现内存管理问题。

*** 自制二进制格式（二）
- SuperK 中微子实验的 Zebra 格式
- 问题
  1. 格式已经被上游团队遗弃，除了指定的 Fortran 77 工具库，无法读取原始数据，违反“透明”原则
  2. 无法升级，必须维护旧计算环境才能运行 g77-3.4 （2004 年版本）
#+beamer:\pause
- 解决方案：使用新 Fortran 语言研发 Zebra 到 HDF5 的转换器

** CSV
*** 简介 comma separated values
- 文本文件，易于阅读
- 文本天然是一个表格
- 适合传递整数，文字或者对精度没有要求的浮点数
- CSV 工具
*** 试验写 CSV
#+NAME: dcb25013-1361-416f-bda2-610e309f0e19
#+begin_src python :results output :session local :exports both
  import numpy as np
  hz = np.arange(100).reshape(10, 10)
  print(hz)
#+end_src

#+RESULTS: dcb25013-1361-416f-bda2-610e309f0e19
#+begin_example
[[ 0  1  2  3  4  5  6  7  8  9]
 [10 11 12 13 14 15 16 17 18 19]
 [20 21 22 23 24 25 26 27 28 29]
 [30 31 32 33 34 35 36 37 38 39]
 [40 41 42 43 44 45 46 47 48 49]
 [50 51 52 53 54 55 56 57 58 59]
 [60 61 62 63 64 65 66 67 68 69]
 [70 71 72 73 74 75 76 77 78 79]
 [80 81 82 83 84 85 86 87 88 89]
 [90 91 92 93 94 95 96 97 98 99]]
#+end_example
#+NAME: 711eb2e3-92d1-4957-b508-1373ce93ef21
#+begin_src python :results value :session local :exports both
  np.savetxt("hz.csv", hz)
#+end_src

#+RESULTS: 711eb2e3-92d1-4957-b508-1373ce93ef21
: None

*** 查看文件
    - =cat= 命令，“concatenate” 的缩写，可以显示文件内容，即向标准输出写入。

    #+NAME: 39494365-8a68-4e1d-a823-d1af513bd147
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      cat hz.csv
    #+end_src

    #+RESULTS: 39494365-8a68-4e1d-a823-d1af513bd147
    #+begin_example
    0.000000000000000000e+00 1.000000000000000000e+00 2.000000000000000000e+00 3.000000000000000000e+00 4.000000000000000000e+00 5.000000000000000000e+00 6.000000000000000000e+00 7.000000000000000000e+00 8.000000000000000000e+00 9.000000000000000000e+00
    1.000000000000000000e+01 1.100000000000000000e+01 1.200000000000000000e+01 1.300000000000000000e+01 1.400000000000000000e+01 1.500000000000000000e+01 1.600000000000000000e+01 1.700000000000000000e+01 1.800000000000000000e+01 1.900000000000000000e+01
    2.000000000000000000e+01 2.100000000000000000e+01 2.200000000000000000e+01 2.300000000000000000e+01 2.400000000000000000e+01 2.500000000000000000e+01 2.600000000000000000e+01 2.700000000000000000e+01 2.800000000000000000e+01 2.900000000000000000e+01
    3.000000000000000000e+01 3.100000000000000000e+01 3.200000000000000000e+01 3.300000000000000000e+01 3.400000000000000000e+01 3.500000000000000000e+01 3.600000000000000000e+01 3.700000000000000000e+01 3.800000000000000000e+01 3.900000000000000000e+01
    4.000000000000000000e+01 4.100000000000000000e+01 4.200000000000000000e+01 4.300000000000000000e+01 4.400000000000000000e+01 4.500000000000000000e+01 4.600000000000000000e+01 4.700000000000000000e+01 4.800000000000000000e+01 4.900000000000000000e+01
    5.000000000000000000e+01 5.100000000000000000e+01 5.200000000000000000e+01 5.300000000000000000e+01 5.400000000000000000e+01 5.500000000000000000e+01 5.600000000000000000e+01 5.700000000000000000e+01 5.800000000000000000e+01 5.900000000000000000e+01
    6.000000000000000000e+01 6.100000000000000000e+01 6.200000000000000000e+01 6.300000000000000000e+01 6.400000000000000000e+01 6.500000000000000000e+01 6.600000000000000000e+01 6.700000000000000000e+01 6.800000000000000000e+01 6.900000000000000000e+01
    7.000000000000000000e+01 7.100000000000000000e+01 7.200000000000000000e+01 7.300000000000000000e+01 7.400000000000000000e+01 7.500000000000000000e+01 7.600000000000000000e+01 7.700000000000000000e+01 7.800000000000000000e+01 7.900000000000000000e+01
    8.000000000000000000e+01 8.100000000000000000e+01 8.200000000000000000e+01 8.300000000000000000e+01 8.400000000000000000e+01 8.500000000000000000e+01 8.600000000000000000e+01 8.700000000000000000e+01 8.800000000000000000e+01 8.900000000000000000e+01
    9.000000000000000000e+01 9.100000000000000000e+01 9.200000000000000000e+01 9.300000000000000000e+01 9.400000000000000000e+01 9.500000000000000000e+01 9.600000000000000000e+01 9.700000000000000000e+01 9.800000000000000000e+01 9.900000000000000000e+01
    #+end_example

    - 不是很易读，因为 `np.savetxt()` 的默认格式是 `fmt='%.18e'`.
    - `fmt=%d` 按整数输出。
      - 参考：C format specifiers
*** 重新写 CSV
    #+NAME: 59a23df6-3a2c-46a0-b250-69059ac6d52e
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
np.savetxt("hz.csv", hz, fmt="%d")
    #+end_src

    #+NAME: 65b6aca7-da71-420e-a5e2-1fc2de04417d
    #+RESULTS: 59a23df6-3a2c-46a0-b250-69059ac6d52e
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
cat hz.csv
    #+end_src

    #+RESULTS: 65b6aca7-da71-420e-a5e2-1fc2de04417d
    #+begin_example
    0 1 2 3 4 5 6 7 8 9
    10 11 12 13 14 15 16 17 18 19
    20 21 22 23 24 25 26 27 28 29
    30 31 32 33 34 35 36 37 38 39
    40 41 42 43 44 45 46 47 48 49
    50 51 52 53 54 55 56 57 58 59
    60 61 62 63 64 65 66 67 68 69
    70 71 72 73 74 75 76 77 78 79
    80 81 82 83 84 85 86 87 88 89
    90 91 92 93 94 95 96 97 98 99
    #+end_example
*** 读取 CSV
#+NAME: 2d2bce9b-3e65-44ea-bcef-538c01c8652f
#+begin_src python :results output :session local :exports both
  csv_hz = np.loadtxt("hz.csv")
  print(csv_hz)
#+end_src

#+RESULTS: 2d2bce9b-3e65-44ea-bcef-538c01c8652f
#+begin_example
[[ 0.  1.  2.  3.  4.  5.  6.  7.  8.  9.]
 [10. 11. 12. 13. 14. 15. 16. 17. 18. 19.]
 [20. 21. 22. 23. 24. 25. 26. 27. 28. 29.]
 [30. 31. 32. 33. 34. 35. 36. 37. 38. 39.]
 [40. 41. 42. 43. 44. 45. 46. 47. 48. 49.]
 [50. 51. 52. 53. 54. 55. 56. 57. 58. 59.]
 [60. 61. 62. 63. 64. 65. 66. 67. 68. 69.]
 [70. 71. 72. 73. 74. 75. 76. 77. 78. 79.]
 [80. 81. 82. 83. 84. 85. 86. 87. 88. 89.]
 [90. 91. 92. 93. 94. 95. 96. 97. 98. 99.]]
#+end_example
**** 数据类型
     - Numpy 数组需要指定数据类型
       - `np.int16`, `np.int32`, `np.int64`, `int`
       - `np.float16`, `np.float32`, `np.float64`, `float`
       - `np.complex64`
*** 类型的变化
              #+NAME: 037031e4-e982-46be-aa54-e579fbc388d1
              #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
                print(hz.dtype, csv_hz.dtype)
              #+end_src

              #+RESULTS: 037031e4-e982-46be-aa54-e579fbc388d1
              : int64 float64
     - 数据类型从整数变成了浮点数！
*** 正确的读取方法
    #+NAME: ba27cab1-2134-4d89-abb0-5b2a8a70763d
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      ri_hz = np.loadtxt("hz.csv", dtype=int)
      print(ri_hz)
      print(ri_hz.dtype)
    #+end_src

    #+RESULTS: ba27cab1-2134-4d89-abb0-5b2a8a70763d
    #+begin_example
    [[ 0  1  2  3  4  5  6  7  8  9]
     [10 11 12 13 14 15 16 17 18 19]
     [20 21 22 23 24 25 26 27 28 29]
     [30 31 32 33 34 35 36 37 38 39]
     [40 41 42 43 44 45 46 47 48 49]
     [50 51 52 53 54 55 56 57 58 59]
     [60 61 62 63 64 65 66 67 68 69]
     [70 71 72 73 74 75 76 77 78 79]
     [80 81 82 83 84 85 86 87 88 89]
     [90 91 92 93 94 95 96 97 98 99]]
    int64
    #+end_example
    - 需要额外信息辅助才能读入
*** 总结CSV的特点
- 优点：简单直观，兼容性极强
- 缺点：需要每次都指定格式和读入时的数据类型
  - 只能表示表格
  - 因为兼容性强，可能被加上额外的非标准信息。
    + 例子： =C3--Trace--99996.txt=
#+beamer: \pause
- 是否可以把数据类型也存到文件中？
  - 人类还可以直接读取吗？
  - 另加约定是否可以成为标准？
  - \( \to \) HDF5
- 表格之外的格式怎么办？
  - \( \to \) JSON，具有额外的格式定义
    
** HDF5
*** 简介 Hierarchical Data Format
- 起源于高性能计算领域，目前由 The HDF Group 非盈利组织开发和维护
- 从 HDF 第 4 代起，获得广泛应用，特别是天文学
#+beamer: \pause
- 现在是第 5 代，因此叫做 HDF5
  - 原始表示：数据不必转换成文本。
    + 不涉及转换误差，但不再有文本文件的可读性。
  - 自我描述：数据类型写在文件中，可以被自动识别
  - 支持所有主流语言，有多种查看器
  - 缺点：对 ASCII 之外的字符支持没有标准，不保证可以处理中文。
*** HDF5 的结构
- 数据集(Dataset): 多维数组
- 组(Group): 数据集的容器
- 组可以嵌套，使用 `/` 分隔
  - =/calibration/water/waveform=
- 元数据(Metadata)：用于描述数据集或组的特征
*** Python 的 HDF5 工具
- h5py: 极简的工具库，允许 Python 调用 HDF5 的 C++ 库。
  - 数据格式兼容性好，可以与其它语言交换数据。
- PyTables: 在 HDF5 之上进行了自定义格式，对读写有优化
  - 但是损失了兼容性；
  - 可以读入标准 HDF5 文件，但是容易不小心写出非标准 HDF5 文件。
- 课程选择 h5py，当兼容性和性能冲突时，优先选择兼容性。
  - “透明”原则。
*** 写 HDF5 文件
#+NAME: deff847b-175f-41d2-895a-8c0cf1ad1853
#+begin_src python :results value :session local :exports both
  import h5py

  with h5py.File("hz.h5", "w") as opt:
      opt["hz"] = hz
#+end_src

#+NAME: 72560e0c-313d-4ff6-a9d1-af9da5128ef0
#+begin_src bash :results output :session local :exports both
  h5dump -A hz.h5
#+end_src

    #+RESULTS: 72560e0c-313d-4ff6-a9d1-af9da5128ef0
    : HDF5 "hz.h5" {
    : GROUP "/" {
    :    DATASET "hz" {
    :       DATATYPE  H5T_STD_I64LE
    :       DATASPACE  SIMPLE { ( 10, 10 ) / ( 10, 10 ) }
    :    }
    : }
    : }

- 注意写入风格与 CSV 的异同
- =h5py.File= 返回的 opt 可以看作一个字典。

*** 读 HDF5 文件
#+NAME: baa0c130-7e08-497a-94ff-fde5fbe558e5
#+begin_src python :results output :session local :exports both
  with h5py.File("hz.h5") as ipt:
      h5_hz = ipt["hz"][...]
  print(h5_hz)
#+end_src

#+RESULTS: baa0c130-7e08-497a-94ff-fde5fbe558e5
#+begin_example
[[ 0  1  2  3  4  5  6  7  8  9]
 [10 11 12 13 14 15 16 17 18 19]
 [20 21 22 23 24 25 26 27 28 29]
 [30 31 32 33 34 35 36 37 38 39]
 [40 41 42 43 44 45 46 47 48 49]
 [50 51 52 53 54 55 56 57 58 59]
 [60 61 62 63 64 65 66 67 68 69]
 [70 71 72 73 74 75 76 77 78 79]
 [80 81 82 83 84 85 86 87 88 89]
 [90 91 92 93 94 95 96 97 98 99]]
#+end_example
- =[...]= 或 =[()]= 代表把数据全部读入内存。
- 如果内存不够，h5py 提供了部分读入的功能，也叫做 "out of core computing"。
*** 在文件上直接操作
    - 不在 =with= 环境有额外的功用
    #+NAME: 0bab4fcd-591e-49c4-91b2-a0f8a9b63b0e
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
ipt = h5py.File("hz.h5")
ipt["hz"][2::3, ::5]
    #+end_src

    #+RESULTS: 0bab4fcd-591e-49c4-91b2-a0f8a9b63b0e
    : array([[20, 25],
    :        [50, 55],
    :        [80, 85]])
    #+NAME: 482c5925-2bbd-4625-8c6c-f45dea86f7e6
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
ipt.close() # 关闭之后就无法使用了
ipt["hz"][2::3, ::5]
    #+end_src

    #+RESULTS: 482c5925-2bbd-4625-8c6c-f45dea86f7e6
    #+begin_example
    ---------------------------------------------------------------------------
    ValueError                                Traceback (most recent call last)
    Input In [110], in <module>
          1 ipt.close() # 关闭之后就无法使用了
    ----> 2 ipt["hz"][2::3, ::5]

    File h5py/_objects.pyx:54, in h5py._objects.with_phil.wrapper()

    File h5py/_objects.pyx:55, in h5py._objects.with_phil.wrapper()

    File /usr/lib/python3.9/site-packages/h5py/_hl/group.py:305, in Group.__getitem__(self, name)
        303         raise ValueError("Invalid HDF5 object reference")
        304 elif isinstance(name, (bytes, str)):
    --> 305     oid = h5o.open(self.id, self._e(name), lapl=self._lapl)
        306 else:
        307     raise TypeError("Accessing a group is done with bytes or str, "
        308                     " not {}".format(type(name)))

    File h5py/_objects.pyx:54, in h5py._objects.with_phil.wrapper()

    File h5py/_objects.pyx:55, in h5py._objects.with_phil.wrapper()

    File h5py/h5o.pyx:190, in h5py.h5o.open()

    ValueError: Not a location (invalid object ID)
    #+end_example
*** 创建组
- 当有多个数据集时，可以通过组来对其进行归类和整理。

  #+NAME: 547dbef3-a97f-4031-aa6c-4c3bf740ea18
  #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
with h5py.File("hzg.h5", "w") as opt:
    opt.create_group("/demo")
    opt["demo"]["hz"] = hz
  #+end_src

  #+NAME: ac6bd1ce-496d-4959-bb5c-1228d9fb42c3
  #+RESULTS: 547dbef3-a97f-4031-aa6c-4c3bf740ea18
  #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
h5dump -A hzg.h5
  #+end_src

  #+RESULTS: ac6bd1ce-496d-4959-bb5c-1228d9fb42c3
  #+begin_example
  HDF5 "hzg.h5" {
  GROUP "/" {
     GROUP "demo" {
        DATASET "hz" {
           DATATYPE  H5T_STD_I64LE
           DATASPACE  SIMPLE { ( 10, 10 ) / ( 10, 10 ) }
        }
     }
  }
  }
  #+end_example
** 复合数组
*** Structured Array: 数组中的复合数据类型
    - 元素从简单类型 int, float 变成自定义的
    - 方便像表格一样组织数据
    #+begin_src python :results value :session local :exports both
      import numpy as np
      t = [('Height', 'f4'), ('Weight', 'f4'), ('Age', 'u2')]
      r = np.array([(170, 60, 20),
                    (159, 45, 22),
                    (185, 76, 26)], dtype=t)
      r
    #+end_src

    #+RESULTS:
    | 170 | 60 | 20 |
    | 159 | 45 | 22 |
    | 185 | 72 | 26 |

*** 本质上是一维数组
    #+begin_src python :results value :session local :exports both
      r.shape
    #+end_src

    #+RESULTS:
    | 3 |

**** 取列
     #+NAME: 958fa7a9-b6b7-462f-91fd-56af90274d16
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
       print(r['Height'])
     #+end_src

     #+RESULTS: 958fa7a9-b6b7-462f-91fd-56af90274d16
     : [170. 159. 185.]

**** 取行
     #+NAME: 0a8b2fab-4d5b-443f-82e0-912b087fc4b0
     #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
       r[0]
     #+end_src

     #+RESULTS: 0a8b2fab-4d5b-443f-82e0-912b087fc4b0
     : (170., 60., 20)
*** 直接保存到 HDF5 表
- 复合数组可以直接保存为 HDF5 的表格
  #+begin_src python :results value :session local :exports both
    with h5py.File("people.h5", "w") as opt:
        opt['record'] = r
  #+end_src

  #+RESULTS:

  #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
h5dump people.h5
  #+end_src

  #+RESULTS: 2507bacf-1f5a-474c-a6c8-23ec69dbd236
  #+begin_example
  HDF5 "people.h5" {
  GROUP "/" {
     DATASET "record" {
        DATATYPE  H5T_COMPOUND {
           H5T_IEEE_F32LE "Height";
           H5T_IEEE_F32LE "Weight";
           H5T_STD_U16LE "Age";
        }
        DATASPACE  SIMPLE { ( 3 ) / ( 3 ) }
        DATA {
        (0): {
              170,
              60,
              20
           },
        (1): {
              159,
              45,
              22
           },
        (2): {
              185,
              72,
              26
           }
        }
     }
  }
  }
  #+end_example
*** 图形查看器 ViTables
    #+begin_src bash
      vitables people.h5 # Debian
    #+end_src

    #+Attr_LaTeX: :height 0.4\textheight
    [[./vitables.png]]
*** 读复合数组
#+NAME: 51188465-70de-4d34-a7b0-d391a787c822
#+begin_src python :results value :session local :exports both
with h5py.File("people.h5", 'r') as ipt:
    people = ipt['record'][()]
people
#+end_src

#+RESULTS: 51188465-70de-4d34-a7b0-d391a787c822
| 170 | 60 | 20 |
| 159 | 45 | 22 |
| 185 | 72 | 26 |
*** DataFrame 表格
- DataFrame 特指二维表格，每行代表一条数据，每列代表一种变量。
  #+begin_src python :results value :session local :exports both
    import pandas as pd
    df_r = pd.DataFrame.from_records(r)
    df_r
  #+end_src

  #+RESULTS:
  :    Height  Weight  Age
  : 0   170.0    60.0   20
  : 1   159.0    45.0   22
  : 2   185.0    72.0   26

- 复合数组与 DataFrame 可相互转换，逻辑结构相同

*** 复合数组与 DataFrame 的不同
- 复合数组是逐行保存的，DataFrame 是逐列保存的。

#+Attr_LaTeX: :height 0.6\textheight
[[./fig/column-oriented.jpeg]]
  
- 逐行保存有利于逐步积累数据，HDF5 是逐行保存的
- 逐列保存有利于处理数据，parquet 是逐列保存的
- CSV 是逐行的还是逐列的？

*** CSV 表格
- 可以把复合数组写到 CSV 中，形成一个表格。
#+begin_src python :results value :session local :exports both
  df_r.to_csv("people.csv", index=False)
#+end_src  

#+RESULTS:
: None

**** 读回来
#+begin_src python :results value :session local :exports both
  pd.read_csv("people.csv")
#+end_src

#+RESULTS:
:    Height  Weight  Age
: 0   170.0    60.0   20
: 1   159.0    45.0   22
: 2   185.0    72.0   26

*** Apache Arrow 与 Parquet
- =Arrow= 提供了跨语言的数据交换格式。
  + 非常高效，做到 "零拷贝"
- =Parquet= 是 =Arrow= 在磁盘上的常用存储格式，经过了列读取优化。
  + 在 Java 语言生态的大数据平台，例如 Hadoop、Spark 上非常流行。
  + 开始被 Python (Pandas 2.0) 和 R 社区使用
- 优点：读写性能高
- 缺点：查看器等配套工具还不完善
  + 王宇逸写了 =pqdump=
*** 读写 parquet
#+begin_src python :results value :session local :exports both
  df_r.to_parquet("people.pq", index=False)
#+end_src

#+RESULTS:
: None

#+begin_src python :results value :session local :exports both
  pq_r = pd.read_parquet('people.pq')
  pq_r
#+end_src

#+RESULTS:
:    Height  Weight  Age
: 0   170.0    60.0   20
: 1   159.0    45.0   22
: 2   185.0    72.0   26

** 课堂练习
*** 课堂练习：转化高度定制的 +.txt+ CSV 文件
- 相比于 HDF5
  + CSV 的记录非常随意，无统一标准
  + CSV 占用的空间大
- 任务：把 =C3--Trace--99996.txt= 转化为 =C3--Trace--99996.h5=
*** 读取定制的 CSV 文件
#+begin_src python :results output :session local :exports both
  import numpy as np
  import itertools as it

  meta = {}
  with open("C3--Trace--99996.txt") as metadata:
      l = next(metadata).strip() # 读第一行
      meta["model"], meta["model_param"], ds_name = l.split(",")
      l = next(metadata).strip() # 读第二行
      _, _, _, ds_length = l.split(",")
      l = next(metadata).strip() # 读第三行
      l = next(metadata).strip() # 读第四行
      _, meta["TrigTime"], _ = l.split(",")
  print(meta)
#+end_src

#+RESULTS:
: {'model': 'LECROYHDO9404', 'model_param': '30486', 'TrigTime': '03-Jul-2023 14:41:14'}

*** 读取数据主体
#+begin_src python :results value :session local :exports both
  ds = pd.read_csv("C3--Trace--99996.txt", skiprows=4)
  ds
#+end_src

#+RESULTS:
#+begin_example
              Time      Ampl
0     3.195045e-09 -0.012751
1     3.220045e-09 -0.016558
2     3.245045e-09 -0.013280
3     3.270045e-09 -0.005773
4     3.295045e-09  0.003425
...            ...       ...
7997  2.031200e-07  1.603280
7998  2.031450e-07  1.596830
7999  2.031700e-07  1.589380
8000  2.031950e-07  1.584830
8001  2.032200e-07  1.586100

[8002 rows x 2 columns]
#+end_example
*** 保存成 HDF5
#+begin_src python :results value :session local :exports both
  ds.to_hdf("osci.h5", ds_name)
#+end_src

#+RESULTS:
: None

用 PyTables 写出，兼容性较差。

*** 标准的 HDF5 输出
#+begin_src python :results value :session local :exports both
  with h5py.File("osci.h5", "w") as opt:
      opt[ds_name] = ds.to_records(index=False)
      for k, v in meta.items():
          opt[ds_name].attrs[k] = v
#+end_src

#+RESULTS:

** JSON
*** 简介 JavaScript Object Notation

- =JSON= 最早从网站前端的 javascript 社区出现，用于代替 Extensible
  Markup Language (XML)。
  - 更加易于人类理解
  - 适合传递有层次的数据，特别是文本
  - 优点：与 Python 的字典结构相近
  - 缺点：数字的表达能力较弱

*** 读 JSON
    #+NAME: a957548e-e023-4d16-96da-4b458a26b328
    #+begin_src python :results output :session local :exports both
      import json

      with open("BBH_events_v3.json", "r") as ipt:
          events = json.load(ipt)
      print(type(events)) # 就是一个字典
      print(events.keys())
    #+end_src

    #+RESULTS: a957548e-e023-4d16-96da-4b458a26b328
    : <class 'dict'>
    : dict_keys(['GW150914', 'LVT151012', 'GW151226', 'GW170104'])

*** JSON 结构字典
    #+NAME: c73658ba-a357-42f0-b5b9-3fa037912893
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
events['GW150914']
    #+end_src

    #+RESULTS: c73658ba-a357-42f0-b5b9-3fa037912893
    #+begin_example
    {'name': 'GW150914',
     'fn_H1': 'H-H1_LOSC_4_V2-1126259446-32.hdf5',
     'fn_L1': 'L-L1_LOSC_4_V2-1126259446-32.hdf5',
     'fn_template': 'GW150914_4_template.hdf5',
     'fs': 4096,
     'tevent': 1126259462.44,
     'utcevent': '2015-09-14T09:50:45.44',
     'm1': 41.743,
     'm2': 29.237,
     'a1': 0.355,
     'a2': -0.769,
     'approx': 'lalsim.SEOBNRv2',
     'fband': [43.0, 300.0],
     'f_min': 10.0}
    #+end_example
*** JSON 输出
    #+NAME: 2b151a96-1f27-4914-81a0-10a79b03756b
    #+begin_src python :results value :session local :exports both
      with open("BBH_events_rewrite.json", 'w') as opt:
          json.dump(events, opt)
    #+end_src

    #+RESULTS: 2b151a96-1f27-4914-81a0-10a79b03756b

    #+NAME: 4320c20d-2037-4a51-b498-a4a0c9c0dce2

    #+RESULTS: 4320c20d-2037-4a51-b498-a4a0c9c0dce2
    : {"GW150914": {"name": "GW150914", "fn_H1": "H-H1_LOSC_4_V2-1126259446-32.hdf5", "fn_L1": "L-L1_LOSC_4_V2-1126259446-32.hdf5", "fn_template": "GW150914_4_template.hdf5", "fs": 4096, "tevent": 1126259462.44, "utcevent": "2015-09-14T09:50:45.44", "m1": 41.743, "m2": 29.237, "a1": 0.355, "a2": -0.769, "approx": "lalsim.SEOBNRv2", "fband": [43.0, 300.0], "f_min": 10.0}, "LVT151012": {"name": "LVT151012", "fn_H1": "H-H1_LOSC_4_V2-1128678884-32.hdf5", "fn_L1": "L-L1_LOSC_4_V2-1128678884-32.hdf5", "fn_template": "LVT151012_4_template.hdf5", "fs": 4096, "tevent": 1128678900.44, "utcevent": "2015-10-12T09:54:43.44", "m1": 44.111, "m2": 11.205, "a1": 0.447, "a2": -0.434, "approx": "lalsim.SEOBNRv2", "fband": [43.0, 400.0], "f_min": 10.0}, "GW151226": {"name": "GW151226", "fn_H1": "H-H1_LOSC_4_V2-1135136334-32.hdf5", "fn_L1": "L-L1_LOSC_4_V2-1135136334-32.hdf5", "fn_template": "GW151226_4_template.hdf5", "fs": 4096, "tevent": 1135136350.65, "utcevent": "2015-12-26T03:38:53.65", "m1": 19.6427, "m2": 6.7054, "a1": 0.3998, "a2": -0.0396, "approx": "lalsim.SEOBNRv2", "fband": [43.0, 800.0], "f_min": 10.0}, "GW170104": {"name": "GW170104", "fn_H1": "H-H1_LOSC_4_V1-1167559920-32.hdf5", "fn_L1": "L-L1_LOSC_4_V1-1167559920-32.hdf5", "fn_template": "GW170104_4_template.hdf5", "fs": 4096, "tevent": 1167559936.6, "utcevent": "2017-01-04T10:11:58.60", "m1": 33.64, "m2": 24.82, "a1": -0.236, "a2": 0.024, "approx": "lalsim.SEOBNRv2", "fband": [43.0, 800.0], "f_min": 10.0}}
    #+NAME: 30491feb-725e-4dd9-a807-2611133241a4
*** 人类友好的 JSON 查看器
    #+NAME: e5af3c3a-fcb6-4d39-a3f1-7cbc65418034
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
jq < BBH_events_rewrite.json
    #+end_src

    #+RESULTS: e5af3c3a-fcb6-4d39-a3f1-7cbc65418034
    #+begin_example
    {
      "GW150914": {
        "name": "GW150914",
        "fn_H1": "H-H1_LOSC_4_V2-1126259446-32.hdf5",
        "fn_L1": "L-L1_LOSC_4_V2-1126259446-32.hdf5",
        "fn_template": "GW150914_4_template.hdf5",
        "fs": 4096,
        "tevent": 1126259462.44,
        "utcevent": "2015-09-14T09:50:45.44",
        "m1": 41.743,
        "m2": 29.237,
        "a1": 0.355,
        "a2": -0.769,
        "approx": "lalsim.SEOBNRv2",
        "fband": [
          43.0,
          300.0
        ],
        "f_min": 10.0
      },
      "LVT151012": {
        "name": "LVT151012",
        "fn_H1": "H-H1_LOSC_4_V2-1128678884-32.hdf5",
        "fn_L1": "L-L1_LOSC_4_V2-1128678884-32.hdf5",
        "fn_template": "LVT151012_4_template.hdf5",
        "fs": 4096,
        "tevent": 1128678900.44,
        "utcevent": "2015-10-12T09:54:43.44",
        "m1": 44.111,
        "m2": 11.205,
        "a1": 0.447,
        "a2": -0.434,
        "approx": "lalsim.SEOBNRv2",
        "fband": [
          43.0,
          400.0
        ],
        "f_min": 10.0
      },
      "GW151226": {
        "name": "GW151226",
        "fn_H1": "H-H1_LOSC_4_V2-1135136334-32.hdf5",
        "fn_L1": "L-L1_LOSC_4_V2-1135136334-32.hdf5",
        "fn_template": "GW151226_4_template.hdf5",
        "fs": 4096,
        "tevent": 1135136350.65,
        "utcevent": "2015-12-26T03:38:53.65",
        "m1": 19.6427,
        "m2": 6.7054,
        "a1": 0.3998,
        "a2": -0.0396,
        "approx": "lalsim.SEOBNRv2",
        "fband": [
          43.0,
          800.0
        ],
        "f_min": 10.0
      },
      "GW170104": {
        "name": "GW170104",
        "fn_H1": "H-H1_LOSC_4_V1-1167559920-32.hdf5",
        "fn_L1": "L-L1_LOSC_4_V1-1167559920-32.hdf5",
        "fn_template": "GW170104_4_template.hdf5",
        "fs": 4096,
        "tevent": 1167559936.6,
        "utcevent": "2017-01-04T10:11:58.60",
        "m1": 33.64,
        "m2": 24.82,
        "a1": -0.236,
        "a2": 0.024,
        "approx": "lalsim.SEOBNRv2",
        "fband": [
          43.0,
          800.0
        ],
        "f_min": 10.0
      }
    }
    #+end_example

    #+RESULTS: 30491feb-725e-4dd9-a807-2611133241a4
*** 美化输出
    #+NAME: d1c23627-8cfa-472c-a876-08ab21750325
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      with open("BBH_events_indent.json", 'w') as opt:
          json.dump(events, opt, indent=2)
    #+end_src

    #+RESULTS: d1c23627-8cfa-472c-a876-08ab21750325

** 其它格式
*** SQLite 磁盘格式
- SQLite 数据库在磁盘上的存储格式
- 在第四周 *关系代数* 阶段学习
- 优点：交互界面支持 SQL 语法
- 缺点：科学和数值计算性能平庸

* 数据绘图
  :PROPERTIES:
  :EXPORT_FILE_NAME: p6
  :EXPORT_DATE: 2025-07-02 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 大作业
*** 预告
+ 江门中微子实验 JUNO 的光学模型。
+ 考察团队通过 Git 协作，鼓励三个组队。

*** 自定义                                                   :B_exampleblock:
:PROPERTIES:
:BEAMER_env: exampleblock
:END:

- 如果有同学希望自定义大作业，请在 7 月 3 日 10 点之前向
  
  https://git.tsinghua.edu.cn/physics-data/projects/proposal

  仓库发送 merge request ，内容至少包含

  1. 问题描述和学科背景；
  2. 预期的目标和评价方式；
  3. 时间安排；
  4. 大作业项目导师，一名获得过《实验物理的大数据方法》课程 A 以上的学长。

** 复习准备
*** 安装软件
- Matplotlib（Python 绘图）、SciPy（科学计算）
  #+begin_src bash
    apt install python3-matplotlib python3-tk python3-scipy
    apt install x11-apps imagemagick
  #+end_src
- 配置环境确保图形显示
  https://physics-data.meow.plus/faq/env
*** 科学绘图
- A plot worths a thousand words. 图是描述科学对象的载体。
  - 撰写论文甚至可理解为“看图说话”：论文的局部目标是用语言和公式把图片解释清楚。
  - 绘制高质量的图，所花精力不比书写几千字少

- Matplotlib
  - 数据画图和可视化工具，风格受 Matlab 影响
  - 参考资料：[[https://scipy-lectures.org/][Scipy Lecture Notes]] 1.5
**** X Window System 也被称为 “X11”
- 图形显示事实上的国际标准
- Server-client 架构
- Server 为显示图形提供服务 (=WSLg= 用的 =FreeRDP=，或 =VcXsrv=)
- Client 连接 X11 server，请求显示图形 (=xeyes=, =ViTables=, =Matplotlib=)
** Matplotlib
*** 一条直线
    - 四点连成一条直线
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      from matplotlib import pyplot as plt

      plt.plot([1,2,3,4])
      <<savefig(figname="img/line.pdf")>>
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:img/line.pdf]]
*** 只画四点，不连线
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      plt.plot([1,2,3,4], '.')
      <<savefig(figname="img/points.pdf")>>
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:img/points.pdf]]

*** 两条曲线
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      import numpy as np
      t = np.linspace(-np.pi, np.pi, 100)
      C, S = np.cos(t), np.sin(t)
      plt.plot(t, C, label="cos")
      plt.plot(t, S, label="sin")
      plt.legend()
      <<savefig(figname="img/sin.pdf")>>
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:img/sin.pdf]]

*** 变成红色的点
#+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
  plt.plot(t, C, "ro") # 改成红色的圆点
  <<savefig(figname="img/red-circle.pdf")>>
#+end_src

#+attr_latex: :height 5cm
#+RESULTS:
[[file:img/red-circle.pdf]]

*** 点的形状
#+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
  plt.plot(t, C, "bx") # 改成蓝色的×
  <<savefig(figname="img/blue-cross.pdf")>>
#+end_src

#+attr_latex: :height 5cm
#+RESULTS:
[[file:img/blue-cross.pdf]]

*** 点形状列表
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
| mark    | symbol         |
|---------+----------------|
| .       | point          |
| ,       | pixel          |
| o       | circle         |
| v       | triangle down  |
| =^=     | triangle up    |
| <       | triangle left  |
| >       | triangle right |
| 1       | tri down       |
| 2       | tri up         |
| 3       | tri left       |
| 4       | tri right      |
| 8       | octagon        |
| s       | square         |
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
| mark    | symbol         |
|---------+----------------|
| p       | pentagon       |
| P       | plus (filled)  |
| =*=     | star marker    |
| h       | hexagon1       |
| H       | hexagon2       |
| +       | plus           |
| x       | x              |
| X       | x (filled)     |
| D       | diamond        |
| d       | =thin_diamond= |
| \vert{} | vline          |
| =_=     | hline          |

*** 线与颜色的形状
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
| 记号  | 线型      |
|-----------+----------|
| -         | solid    |
| --        | dashed   |
| -.        | dash-dot |
| :         | dotted   |
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
| 记号 | 颜色     |
|-----+---------|
| b   | blue    |
| g   | green   |
| r   | red     |
| c   | cyan    |
| m   | magenta |
| y   | yellow  |
| k   | black   |
| w   | white   |
** 图片的调整
*** 调整必要性
    - 默认的图片，会有各类值得改进之处。
      - 坐标轴取值范围、风格、含义
      - 图片中的标记
      - 字体大小
*** 坐标轴
    - 显示范围、标注
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      plt.plot(t, S)
      plt.xlim(t.min() * 1.5, t.max() * 1.5)
      plt.xlabel("arc")
      plt.ylabel("value")
      <<savefig(figname="img/cood-range.pdf")>>
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:img/cood-range.pdf]]

*** 子图
    - 并列绘图，调整图的显示范围
      #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
        plt.subplot(1, 2, 1)
        plt.plot(t, C)
        plt.subplot(1, 2, 2)
        plt.plot(t, S)
        <<savefig(figname="img/twins.pdf")>>
      #+end_src

      #+attr_latex: :height 5cm
      #+RESULTS:
      [[file:img/twins.pdf]]

*** 子图上的大标题
- =suptitle()= 用来给子图添加大标题。

#+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
  plt.clf() # clear figure
  plt.subplot(1, 2, 1)
  plt.plot(t, C, 'rH', label="cos")
  plt.legend()
  plt.ylabel("amplitude")
  plt.subplot(1, 2, 2)
  plt.plot(t, S, 'b.', label="sin")
  plt.xlabel("t/s")
  plt.suptitle(r"$\int \sin(t) \mathrm{d}t = \cos(t)$ waves 波形")
  plt.legend()
  <<savefig(figname="img/twins-suptitle.pdf")>>
      #+end_src

      #+attr_latex: :height 5cm
      #+RESULTS:
      [[file:img/twins.pdf]]
** 常用形式
*** 散点图
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      n = 1024
      X = np.random.normal(0, 1, n)
      Y = np.random.normal(0, 1, n)

      plt.scatter(X, Y, alpha=0.2)
      <<savefig(figname="img/scatter.pdf")>>
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:img/scatter.pdf]]

*** 直方图
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      plt.hist(X, bins=32)
      <<savefig(figname="img/histogram.pdf")>>
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:img/histogram.pdf]]

*** 画院系的统计
#+begin_src python :results value :session local :exports both
  import pandas as pd
  dep = pd.read_csv("departments.csv", header=None)
  plt.hist(list(dep[0]))
#+end_src

图的横轴间距不太理想。

** 多维元素的表现
*** 平铺
    - 表现简单的三维数据
      #+begin_src python :results output :session lecture-plot :exports both
        img = np.arange(100).reshape(10, 10)
        print(img)
      #+end_src

      #+RESULTS:
      #+begin_example
      [[ 0  1  2  3  4  5  6  7  8  9]
       [10 11 12 13 14 15 16 17 18 19]
       [20 21 22 23 24 25 26 27 28 29]
       [30 31 32 33 34 35 36 37 38 39]
       [40 41 42 43 44 45 46 47 48 49]
       [50 51 52 53 54 55 56 57 58 59]
       [60 61 62 63 64 65 66 67 68 69]
       [70 71 72 73 74 75 76 77 78 79]
       [80 81 82 83 84 85 86 87 88 89]
       [90 91 92 93 94 95 96 97 98 99]]
      #+end_example
*** 平铺（二）
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      plt.imshow(img)
      plt.colorbar()
      <<savefig(figname="img/map.pdf")>>
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:img/map.pdf]]
*** 高斯分布的概率密度函数
    #+begin_src python :results output :session lecture-plot :exports both
      from scipy.stats import multivariate_normal

      rv = multivariate_normal(mean=(0, 0), cov = ((1,0.5), (0.5,0.5)))
      print(rv.pdf((0, 0))) # (x, y) -> f(x, y)

      norm_x, norm_y = np.mgrid[-1:1:.01, -1:1:.01]
      pos = np.dstack((norm_x, norm_y))
      prob_density = rv.pdf(pos)
      print(pos.shape, prob_density.shape)
    #+end_src

    #+RESULTS:
    : 0.31830988618379075
    : (200, 200, 2) (200, 200)

    - 给 \( (i, j) \) 着色为 \( f(x, y) \)
      \[ (i, j) \to (x, y) \to f(x, y) \]
      - =pos= :: \( (i, j) \to (x, y) \)
      - =prob_density= :: \( (i, j) \to f(x, y) \)

*** 绘制等高线图
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      plt.contourf(norm_x, norm_y, prob_density)
      plt.colorbar()
      plt.xlabel("x")
      plt.ylabel("y")
      <<savefig(figname="img/gauss.pdf")>>
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:img/gauss.pdf]]
*** =imshow= 的原点约定不同
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      plt.imshow(prob_density)
      plt.colorbar()
      <<savefig(figname="img/gauss-imshow.pdf")>>
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:img/gauss-imshow.pdf]]

*** 真三维图
来自 https://matplotlib.org/stable/gallery/mplot3d/contour3d_3.html#sphx-glr-gallery-mplot3d-contour3d-3-py 例子，用来绘制二维高斯分布
#+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
  from mpl_toolkits.mplot3d import axes3d

  ax = plt.figure().add_subplot(projection='3d')
  # Plot the 3D surface
  ax.plot_surface(norm_x, norm_y, prob_density, 
                  edgecolor='royalblue', lw=0.5, rstride=8, cstride=8,
                  alpha=0.3)

  ax.set(xlim=(-1, 1), ylim=(-1, 1), zlim=(0, 0.4),
         xlabel='x', ylabel='y', zlabel='f(x,y)')
  plt.show()      
#+end_src
*** 制作动画
- =FuncAnimation=
- 不断画图法
  #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      from matplotlib.backends.backend_pdf import PdfPages
      with PdfPages("normal2d.pdf") as pp:
          for angle in range(0, 720, 5):
              ax.view_init(elev=angle, azim=45, roll=30)
              pp.savefig()
  #+end_src
  #+begin_src bash
convert -verbose -delay 50 -density 100 normal2d.pdf normal2d.gif
  #+end_src
*** 绘制流线图
    - 相图： \( (p, q) \) 的演化图， \( p = m \dot{q} \)
    - 经典谐振子
      - \( \dot{p} = - k q \)
      - 取 \( m=k=1 \) 每个 \( (p, q) \) 位置对应
        \[ (\dot{p}, \dot{q}) = (-q, p) \]
*** 绘制流线图（二）
    - 表现矢量场
      \[ (i, j) \to (p, q) \to (\dot{p}, \dot{q}) \]
    
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      P, Q = np.mgrid[-1:1:.002, -1:1:.002]
      dP = -Q # \dot{p}
      dQ = P  # \dot{q}
      plt.streamplot(Q, P, dQ, dP)
      <<savefig(figname="img/oscillator.pdf")>>
    #+end_src

    #+attr_latex: :height 4cm
    #+RESULTS:
    [[file:img/oscillator.pdf]]
*** 课堂练习：非简谐轻杆单摆的相图
    \[ m L \ddot{\theta} = - m g \sin \theta \]
#+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
  theta, eta = np.mgrid[-2*np.pi:2*np.pi:.005, -2*np.pi:2*np.pi:.005]
  dtheta = eta
  deta = -np.sin(theta)
  plt.streamplot(eta, theta, deta, dtheta)
  <<savefig(figname="img/oscillator-rod.pdf")>>
#+end_src

#+attr_latex: :height 4cm
#+RESULTS:
[[file:img/oscillator-rod.pdf]]

** Bessel 函数
*** 第一类 Bessel 函数
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
       from scipy import special

       x = np.linspace(0, 6, 100)
       y_values = [ special.jv(n, x) for n in range(0, 5) ] # 第一类 Bessel 函数
       for i, y in enumerate(y_values):
           plt.plot(x, y, label=f"Order {i}")
       plt.legend()
       plt.xlabel("x")
       plt.ylabel("values of Bessel function")
       <<savefig(figname="img/bessel.pdf")>>
    #+end_src

    #+attr_latex: :height 4cm
    #+RESULTS:
    [[file:img/bessel.pdf]]

** 更多样例
*** Matplotlib 官方图片展
    https://matplotlib.org/stable/gallery/index.html

    - 看到需要的图，点进去可查看代码
*** 矢量场
#+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
  fig1, ax1 = plt.subplots()
  ax1.set_title('简谐振子的相图')
  fig = ax1.quiver(P, Q, dP, dQ, units='width')
  ax1.set(xlabel="P", ylabel="Q")
  qk = ax1.quiverkey(fig, 0.9, 0.9, 2, '相速度', labelpos='E',
                     coordinates='figure')
  <<savefig(figname="img/quiver.pdf")>>
#+end_src

#+attr_latex: :height 5cm
#+RESULTS:
[[file:img/quiver.pdf]]

* 蒙特卡罗方法与大作业
  :PROPERTIES:
  :EXPORT_FILE_NAME: p7
  :EXPORT_DATE: 2025-07-03 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习准备
*** 大作业准备
安装 GNU Make
#+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
  apt install make-guile
#+end_src
**** 进阶使用
参见 第十讲 GNU Make 数据生产线

*** 科学绘图
- 原则：复现、透明
  + 艺术性提升，需要花很大精力打磨
  + 代表了“实验结果”

- Matplotlib：
  + 点、线
  + 散点图、直方图
  + 标量场、向量场
  + 动画

*** 技能树
#+Attr_LaTeX: :height 0.4\textheight
[[./fig/Data_Science_VD.png]]

1. 本课程目标为数理大类的同学补齐 *黑客技术* 。
2. 警惕 *Danger Zone!* 。
   - 黑客技术 :: 人类掌握工具的最高水平
   - 数学与统计 :: 人类理性思维的最高水平，欢迎选修《概率统计分析及量测技术》
3. *专业知识* 根据自己的兴趣选择。
   - 物理学的思维方式和实践方法是一切专业知识的标杆。
4. 大作业是对此技能树的一次综合检验。

** 弱相互作用之世界
*** 看世界                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=2]{fig/neutrino-undergrad-r10.pdf}}
*** 看世界                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=3]{fig/neutrino-undergrad-r10.pdf}}
*** 看世界                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=4]{fig/neutrino-undergrad-r10.pdf}}
*** 看世界                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=5]{fig/neutrino-undergrad-r10.pdf}}
*** 看世界                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=6]{fig/neutrino-undergrad-r10.pdf}}
*** 中微子的基本事实
1. 电中性，自旋 1/2，只参与弱相互作用。
   - 太阳中微子与电子的反应截面是 \(\SI{e-50}{m^2}\)。
   - 类比，原子核的尺度\(\SI{e-30}{m^2}\)。
2. 自然界中只观测到左手中微子( $\nu_L$ ) 和右手反中微子 ( $\bar{\nu}_R$ )。
3. 弱超荷（weak hypercharge）：$\nu_L$ -1，$\nu_R$ 0；$e_L$ -1，$e_R$ -2。
4. 弱同位旋（weak isospin）：$\nu_L$ 1/2，$\nu_R$ 0；$e_L$ -1/2，$e_R$ 0。
5. 最简的 Higgs 机制不适用：
#+ATTR_LATEX: :width 0.9\textwidth
[[./out/neutrino-higgs.pdf]]

*** 看世界                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=8]{fig/neutrino-undergrad-r10.pdf}}

*** 宇宙的历史
    #+beamer: \only<1>{
    #+ATTR_LATEX: :height 0.85\textheight
    [[./out/evolution-universe.pdf]]
    #+beamer: }
    #+beamer: \only<2>{
    #+ATTR_LATEX: :height 0.85\textheight
    [[./out/evolution-universe-decouple.pdf]]
    #+beamer: }

*** 看世界                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=11]{fig/neutrino-undergrad-r10.pdf}}
** 中微子
*** 中微子                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=12]{fig/neutrino-undergrad-r10.pdf}}

*** 中微子                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=13]{fig/neutrino-undergrad-r10.pdf}}

*** 中微子                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=14]{fig/neutrino-undergrad-r10.pdf}}

*** 中微子                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=15]{fig/neutrino-undergrad-r10.pdf}}

*** 中微子                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=16]{fig/neutrino-undergrad-r10.pdf}}

*** 中微子                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=17]{fig/neutrino-undergrad-r10.pdf}}

*** 中微子                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=18]{fig/neutrino-undergrad-r10.pdf}}

*** 中微子                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=19]{fig/neutrino-undergrad-r10.pdf}}
** 宇称正反中微子
*** 宇称                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=20]{fig/neutrino-undergrad-r10.pdf}}
*** 宇称                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=21]{fig/neutrino-undergrad-r10.pdf}}
*** 宇称                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=22]{fig/neutrino-undergrad-r10.pdf}}

*** 宇称                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=23]{fig/neutrino-undergrad-r10.pdf}}

*** 吴健雄实验
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:

#+attr_latex: :width 0.8\linewidth
[[./fig/Cobalt60.png]]

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:

吴健雄改变了磁场方向，发现电子方向始终与磁场方向相反。
#+begin_export latex
\begin{equation*}
  \braket{\vec{\sigma}_{\ce{Ni}}\cdot \vec{p}_e} \neq 0
\end{equation*}
#+end_export

***** 结论
弱相互作用下宇称不守恒，但为什么？

*** 宇称不守恒驱动的新中微子理论
#+attr_latex: :height 0.85\textheight
[[./out/two-component.pdf]]

*** Dirac 方程与 Weyl 费米子
#+attr_latex: :height 0.85\textheight
[[./out/Weyl-spinor.pdf]]

*** 中微子的 CP 变换
#+attr_latex: :height 0.85\textheight
[[./out/neutrino-CP.pdf]]

** 非零质量
*** 太阳                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=29]{fig/neutrino-undergrad-r10.pdf}}

*** 太阳核聚变与中微子
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.25
:END:
[[./out/sun.pdf]]
**** m                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.75
:END:
[[./out/ppCNOchain.pdf]]
**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
- 模型由太阳的化学成分、光度和温度间接验证。但中微子能提供直接证据。

#+beamer: {\scriptsize
 Hans Bethe 1967 Nobel Prize
#+beamer: }

*** 1960s--1990s 太阳中微子之谜
#+attr_latex: :height 0.85\textheight
[[./out/homestake-principle.pdf]]

*** 太阳                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=32]{fig/neutrino-undergrad-r10.pdf}}

*** 超级/神冈实验
#+attr_latex: :height 0.85\textheight
[[./out/Kamiokande.pdf]]

*** 太阳                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=34]{fig/neutrino-undergrad-r10.pdf}}

*** 太阳                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=35]{fig/neutrino-undergrad-r10.pdf}}

*** 太阳                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=36]{fig/neutrino-undergrad-r10.pdf}}

*** 太阳                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=37]{fig/neutrino-undergrad-r10.pdf}}

*** 太阳                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=38]{fig/neutrino-undergrad-r10.pdf}}
*** 太阳                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=39]{fig/neutrino-undergrad-r10.pdf}}

*** 太阳                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=40]{fig/neutrino-undergrad-r10.pdf}}
** 质量起源
*** 中微子的世纪难题
1. 质量到底有多大？为什么如此之小？
   - @@latex: \alert{中微子的质量顺序}@@ ，正序 $m_1 < m_2 \ll m_3$ 还是反序 $m_3 \ll m_1 < m_2$ 。
   - \(\nu_3\) 到 \(\nu_1, \nu_2\) 的地球物质效应尚未观测到。
   - 江门中微子实验（JUNO）。
   #+beamer: \pause
2. 正反中微子是同一种粒子吗
   - Dirac型还是Majorana型费米子？
   - Majorana型费米子存在吗？
   #+beamer: \pause
3. @@latex: \alert{轻子的 CP 破坏，$\delta_{\mathrm{CP}}$ 有多大？}@@
   - 为什么与夸克的 CP 破坏不同？
   - 可以解释宇宙由物质主导吗？
   #+beamer: \pause
4. 中微子与Higgs如何作用？
   - 右手中微子存在吗？

*** 宇宙中物质从何起源？
#+attr_latex: :height 0.8\textheight
[[./out/anti-matter.pdf]]

*** 小中微子主导大宇宙
#+attr_latex: :width \textwidth
[[./out/neutrino-anti.pdf]]

*** 质量                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=48]{fig/neutrino-undergrad-r10.pdf}}

*** 质量                                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+BEAMER: \frame[plain]{\includegraphics[height=\textheight,page=49]{fig/neutrino-undergrad-r10.pdf}}

** 江门-台山\(\nu\)
*** 中微子的微小非零质量
- Zero neutrino mass
  - Lee-Yang's two-component Weyl-Fermion $\nu$ model: explain the P-violation.
  - Inherited by the standard model (Weinberg)
  - Broken by solar (Homestake, Gallex/GNO/SAGE, SNO+), atmospheric (SuperK) and reactor neutrino (KamLAND) disappearance
  - Motivation: origin of the tiny non-zero mass, Majorana Fermion by GUT see-saw.
#+beamer: \pause
**** Mass ordering
    - Neutrino mass by quantum interference

*** Jiangmen Underground Neutrino Observatory
#+attr_latex: :width \textwidth
[[./out/JUNO-site.pdf]]

- \SI{52.5}{km} is the sweet spot for \(\nu\) oscillation.
*** \(\bar{\nu}\) detection with inverse beta decay (IBD)
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_export latex
\begin{equation*}
  \begin{aligned}
    \bar{\nu}_e + \ce{p -> e+ + n}
  \end{aligned}
\end{equation*}
#+end_export
#+attr_latex: :width \linewidth
[[./fig/IBD.png]]

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
[[./fig/IBD-spectra.jpg]]

**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:

\(e^+\)/\(\gamma\) scintillation light are collected by photomultipliers.

*** \(\nu\) oscillation
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:
\[ \Ket{\nu_\alpha(t)} = \sum_{i=1,2,3} U_{\alpha i}^* \Ket{\nu_i(t)}\]
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:
Mixing of different \(\nu\) mass eigenstates leads to oscillation:
**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
\[ \Braket{\nu_{\ce{e}}|\nu_{\ce{e}}(t)} = \lvert\Braket{\nu_{\ce{e}}|\nu_1}\rvert^2 + e^{-i \frac{\Delta m_{21}^2 L}{2E}} \lvert\Braket{\nu_{\ce{e}}|\nu_2}\rvert^2 + e^{-i \frac{\Delta m_{31}^2 L}{2E}} \lvert\Braket{\nu_{\ce{e}}|\nu_3}\rvert^2 \]
describes the *survival probability* of \(\nu_{\ce{e}}\) as \( \displaystyle{P(\nu_{\ce{e}} \to \nu_{\ce{e}}) = \lvert\Braket{\nu_{\ce{e}}|\nu_{\ce{e}}(t)}\rvert^2}. \)

\animategraphics[autoplay,width=0.95\linewidth,poster=last]{2}{fig/epicycle}{1}{29}

*** Detecting neutrinos with JUNO
Sensitive to mass differences \(\Delta m_{31}^2, \Delta m_{21}^2\) and mixing angles \(\theta_{12}, \theta_{13}\).
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:
#+begin_export latex
\begin{equation*}
\left\{
  \begin{array}{l}
    \lvert\Braket{\nu_{\ce{e}}|\nu_1}\rvert = \cos \theta_{13} \cos \theta_{12} \\
    \lvert\Braket{\nu_{\ce{e}}|\nu_2}\rvert = \cos \theta_{13} \sin \theta_{12} \\
    \lvert\Braket{\nu_{\ce{e}}|\nu_3}\rvert = \sin \theta_{13}
  \end{array}
\right.
\end{equation*}
#+end_export
#+beamer: \pause
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:
Non-unitarity \( \displaystyle{\sum_{i=1}^3 \left|\Braket{\nu_{\ce{e}}|\nu_i}\right|^2 < 1} \)
indicates the existance of \(N_\text{R}\) and \(\Braket{\nu_{\ce{e}}|N_\text{R}} > 0\).

**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+beamer: \pause \vspace{-0.5cm}
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:
#+attr_latex: :width \linewidth
[[./fig/precise-oscillation.png]]

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:

|                       |  PDG |    JUNO |
|                       | 2024 | 6 years |
|-----------------------+------+---------|
| \(\sin^2\theta_{13}\) | 3.2% |     12% |
| \(\sin^2\theta_{12}\) | 4.2% |    0.5% |
| \(\Delta m^2_{21}\)   | 2.4% |    0.3% |
| \(\Delta m^2_{21}\)   | 1.1% |    0.2% |
#+beamer: {\scriptsize
Chin. Phys. C46 12, 1230001 (2022)
#+beamer: }

*** 测量原理
#+ATTR_LATEX: :height 0.7\textheight
[[./fig/reconstruction.png]]
- “非成像”光学探测器，电离发光，单个光子由光电倍增管检出。

*** 逆贝塔衰变
**** IBD                                                              :BMCOL:
    :PROPERTIES:
    :BEAMER_col: 0.55
    :END:
    #+attr_latex: :width \textwidth
    [[./fig/IBD-en.pdf]]
**** KPI                                                              :BMCOL:
    :PROPERTIES:
    :BEAMER_col: 0.44
    :END:
    [[./fig/KPI-r1.pdf]]

**** 诱导蒙卡成功后，我们得到
- 一系列随机数种子，编码了 \(e^+\) 在探测器中的详细演化历程。
#+beamer: \pause
- 等价于在液闪中成像！

*** \(\nu\) mass ordering (NMO): sign of \(\Delta m_{31}^2\)
**** NMO                                                              :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:
#+beamer: \vspace{-5mm}
#+attr_latex: :width 0.8\textwidth
[[./fig/mass-ordering.png]]
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:
- \(\Delta m^2_{21} = m_2^2 - m_1^2 = \SI{7.5e-5}{eV^2}\)
- \(\Delta m^2_{31} = m_3^2 - m_1^2 = \SI{2.4e-3}{eV^2}\)
- normal order: \(m_3^2 > m^2_1\);
  + inverted order: \(m^2_3 < m^2_1\)
- imprints subtle difference on energy spectra.

**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
\animategraphics[autoplay,width=0.85\linewidth,poster=last]{2}{fig/epicycle-NOIO}{1}{29}

*** Sensitivity to \(\nu\) mass ordering
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+attr_latex: :width \linewidth
[[./out/nu-spectra.pdf]]

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

#+attr_latex: :width \linewidth
[[./fig/sensitivity-NMO.png]]

**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
\(\Delta \chi^2\) is the \(\chi^2\) different between correct and wrong hypothesis.

\(3\sigma\) determination in 6.5 years.
#+beamer: {\scriptsize
Chin. Phys. C 49 033104
#+beamer: }

*** \(\nu\) research enabled by large @@latex:\SI{20}{\kilo\tonne}@@ target
[[./out/multipurpose.pdf]]

[[./out/event-rates.pdf]]

*** 能量分辨率
Energy resolution is the figure-of-merit that we push to extreme.
**** NMO                                                              :BMCOL:
    :PROPERTIES:
    :BEAMER_col: 0.66
    :END:
    [[./fig/survival-en.pdf]]

    \SI{53}{\km} 之外的中微子振荡后能谱
**** 0vbb                                                             :BMCOL:
    :PROPERTIES:
    :BEAMER_col: 0.33
    :END:
    [[./fig/JUNO-SST.jpg]] 
    JUNO under construction

**** 重要性能指标
- 每提升现有能量分辨 0.5% ，都可以缩短 25% 的运行时间。

** 实验物理
*** 柏拉图世界观
#+Attr_LaTeX: :height 0.6\textheight
[[./fig/SCI.png]]

- 数学世界独立存在，由它推演出物理世界
*** 实验物理
#+Attr_LaTeX: :height 0.6\textheight
[[./fig/SCI.png]]
- 实验仪器是从物理世界到人类的一条信息通道
  - 实验仪器的分辨率有限，我们在进行有损通信

*** 简单的物理实验
#+BEGIN_SRC dot :file ./theory-experiment.pdf
  digraph dataset {
  bgcolor="#ffffff00"

  { rank = same; T E }

  T [label = "理论计算"]
  E [label = "实验数据"]

  T -> E [label = "预测"]
  E -> T [label = "验证"]
  }
#+end_src

#+attr_latex: :width 0.5\textwidth
#+RESULTS:
[[file:./theory-experiment.pdf]]

**** Albert Einstein (1926)                                    :B_alertblock:
:PROPERTIES:
:BEAMER_env: alertblock
:END:
Whether you can observe a thing or not depends on the theory which you use. It is the theory which decides what can be observed.
#+beamer: \pause
**** 贝叶斯公式
#+begin_export latex
\begin{equation*}
  p(\theta_T|D, T) = \frac{ p(D | \theta_T, T) p(\theta_T|T)}{\int p(D | \theta_T, T)p(\theta_T|T) \mathrm{d} \theta_T}
\end{equation*}
#+end_export
- \(D\) 是实验数据，\(T\) 是理论， \(\theta_T\) 是理论参数。
*** 复杂的物理实验
- 理论计算预测时，不仅有理论参数 \(\theta_T\) 还有仪器参数 \(\theta_E\)。
#+BEGIN_SRC dot :file ./MC-calibration-experiment.pdf
  digraph dataset {
  bgcolor="#ffffff00"

  { rank = same; T X E }

  T [label = "物理参数"]
  X [label = "理论计算", shape=box]
  E [label = "实验数据"]
  C [label = "仪器属性"]

  T -> X 
  X -> E [label = "预测"]
  X -> C [dir = back]
  }
#+end_src

#+attr_latex: :width 0.6\textwidth
#+RESULTS:
[[file:./MC-calibration-experiment.pdf]]

- 仪器变得复杂，需要自己标定仪器属性，才能给出合理的预测。
#+beamer: \pause

\[ p(D |\theta_T, \theta_E, T) \]

*** 刻度：自行实验确定仪器属性
- 使用已知的 \(\gamma\) 放射源，例如 \(\ce{^{68}Ge}\)
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:
#+BEGIN_SRC dot :file ./calibration.pdf
  digraph dataset {
  bgcolor="#ffffff00"

  { rank = same; T X E }

  T [label = "物理参数"]
  X [label = "理论计算", shape=box]
  E [label = "实验数据"]
  C [label = "仪器属性"]

  T -> X
  X -> C [label = "刻度"]
  X -> E [dir=back]
  }
#+end_src

#+attr_latex: :width \textwidth
#+RESULTS:
[[file:./calibration.pdf]]
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:
液闪的
- 吸收长度
- 淬灭因子
- 散射角分布
- 色散关系
  
PMT 的
- 量子效率
- 时间特性
**** 反过来使用贝叶斯
\[ p(\theta_E |D, \theta_T, T) = \frac{p(D|\theta_T, \theta_E, T) p(\theta_E)}{\int p(D|\theta_T, \theta_E, T) p(\theta_E) \mathrm{d} \theta_E} \]

*** 重建：推断理论中的参数
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:
#+BEGIN_SRC dot :file ./chart-reconstruction.pdf
  digraph dataset {
  bgcolor="#ffffff00"

  { rank = same; T X E }

  T [label = "物理参数"]
  X [label = "理论计算", shape=box]
  E [label = "实验数据"]
  C [label = "仪器属性"]

  T -> X [dir=back, label="重建"]
  X -> C [dir=back]
  X -> E [dir=back]
  }
#+end_src

#+attr_latex: :width \textwidth
#+RESULTS:
[[file:./chart-reconstruction.pdf]]
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:
- \(\gamma\) 的能量，位置
- \(\nu_e\) 的方向
- \(\mu\) 的时空径迹
- 中微子质量顺序
- \(\theta_{13}\) 振荡参数
  
**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
\[ p(\theta_T|\theta_E, D, T) = \frac{p(D | \theta_T, \theta_E, T)p(\theta_T|\theta_E, T)}{\int p(D | \theta_T, \theta_E, T)p(\theta_T|\theta_E, T) \mathrm{d} \theta_T} \]

*** 举个例子
    #+Attr_LaTeX: :height 0.6\textheight
    [[./fig/reconstruction.png]]
    - 建立模型解释物理世界发生的现象，通过统计方法反推本质。
** 蒙特卡罗
*** 引例：探测效率估计
实验仪器往往很复杂

- 有一个长度为 \( L=\SI{5}{\cm} \) 的细长棒状的 \( \alpha \) 放射源，棒的左端位于原点，棒体与 \( z \) 轴平行。放射源在棒中均匀分布，发射的 \( \alpha \) 粒子在空间中的角分布各向同性。

- 在 \( z \) 轴正向距离原点 \( D=\SI{14}{\cm} \) 处放置了一个圆盘状的探测器用来记录 \( \alpha \) 粒子，圆盘半径 \( R=\SI{7}{\cm} \)，轴线与 \( z \) 轴重合。
      
      #+attr_latex: :height 5cm
      [[./fig/alpha-detection.png]]

*** 一个大积分
    - \( \alpha \) 被观察到与否，有多种因素影响
      - 棒表面的哪里出射
      - 向哪个方向出射
      - +飞行过程中有没有被碰撞，有没有被电磁场影响+
      - 有没有撞到圆盘上，撞上之后有没有信号
      - 信号是不是足够大被仪器记录
    - 所有因素做笛卡尔积
    - ……只为了最终得到一个数字： \( \alpha \) 的探测效率 \( \in [0, 1] \)。

*** 理论引子：量子论
    - 微观粒子可能的路径按照作用量叠加起来，给出量子态的概率振幅。
      \[ \int_{\vec{s}(t) \in S} \exp\left[-i \int \mathcal{L} (\vec{s}, \dot{\vec{s}}) \mathrm{d} t\right] \mathrm{d} \vec{s} \]
    - 连续统无穷维积分，无严格的数学测度定义。
    - ……只为了最终得到一个数字：观测结果出现的概率
    
*** 计算积分
    设 \( X_1, X_2, \cdots X_n \) 是独立同分布的随机变量序列，且 \( X_n \sim U[a,b] (b>a) \) ，\( f(x) \) 是 \( [a,b] \) 上的连续函数。

    - 提供了一种计算定积分的方法
    - 用计算机产生服从 \( [a,b] \) 上的均匀分布的随机数 \( \{ X_i \} \)，然后得随机序列 \( \{ f(X_i) \} \)，则：
      \[ \int_a^b f(x) \mathrm{d} x \approx \frac{b-a}{n} \sum_{i=1}^n f(X_i) \]

**** 为什么随机数可以胜任？
     - 自然小信息 \( \to \) 大信息复杂过程 \( \to \) 人类小信息
     - 自然小信息 \( \to \) 无所不用其极的方法 \( \to \) 人类小信息

*** 理论计算被计算机蒙特卡罗模拟替代
- 没有解析形式，人类无法有效运算。
- 使用程序替代理论模型，模型由程序描述。

**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
***** 狭义的“蒙卡”
#+BEGIN_SRC dot :file ./MC-predict.pdf
  digraph dataset {
  bgcolor="#ffffff00"

  { rank = same; T X E }

  T [label = "物理参数"]
  X [label = "蒙特卡罗", shape=box]
  E [label = "实验数据"]
  C [label = "仪器属性"]

  T -> X
  X -> C [dir=back]
  X -> E [label="采样"]
  }
#+end_src

#+RESULTS:
[[file:./MC-predict.pdf]]

- 代价：用采样代替了预测
- 只能“正向”前进，无法像解析式一样“掉头”。
\[ p(D|\theta_T, \theta_E, T) \]
#+beamer: \pause

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+BEGIN_SRC dot :file ./MC-calibration.pdf
  digraph dataset {
  bgcolor="#ffffff00"

  { rank = same; T X E }

  T [label = "物理参数"]
  X [label = "蒙卡?", shape=box]
  E [label = "实验数据"]
  C [label = "仪器属性"]

  T -> X
  X -> C [label="刻度"]
  X -> E [dir=back]
  }
#+end_src

#+RESULTS:
[[file:./MC-calibration.pdf]]

#+BEGIN_SRC dot :file ./MC-reconstruction.pdf
  digraph dataset {
  bgcolor="#ffffff00"

  { rank = same; T X E }

  T [label = "物理参数"]
  X [label = "蒙卡?", shape=box]
  E [label = "实验数据"]
  C [label = "仪器属性"]

  T -> X [dir=back, label="重建"]
  X -> C [dir=back]
  X -> E [dir=back]
  }
#+end_src

#+RESULTS:
[[file:./MC-reconstruction.pdf]]

*** 探测器刻度的分析方案
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+attr_latex: :width \textwidth
[[./MC-calibration.pdf]]

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+BEGIN_SRC dot :file ./now-calibration.pdf
  digraph dataset {
  bgcolor="#ffffff00"
  C1 [label="仪器参数1"]
  C2 [label="仪器参数2"]
  C3 [label="仪器参数3"]
  P1 [label="预测采样1"]
  P2 [label="预测采样2"]
  P3 [label="预测采样3"]
  C1 -> P1
  C2 -> P2
  C3 -> P3
  E [label="实验数据"]
  P1 -> E [label="比较"]
  P2 -> E
  P3 -> E
  }
#+end_src

#+attr_latex: :width \textwidth
#+RESULTS:
[[file:./now-calibration.pdf]]
**** 逆向蒙卡
- 散弹枪形式，穷举所有可能的仪器参数，分别用正向蒙卡预测
- 选用与实验相符的仪器参数，实现了“逆向蒙卡”。
#+beamer: \pause
- 好用，只是慢，但是值得
*** 近似模型的事例重建
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+attr_latex: :width \textwidth
[[./MC-reconstruction.pdf]]
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

#+BEGIN_SRC dot :file ./now-reconstruction.pdf
  digraph dataset {
  bgcolor="#ffffff00"
  C1 [label="物理参数1"]
  C2 [label="物理参数2"]
  C3 [label="物理参数3"]
  P1 [label="预测采样1"]
  P2 [label="预测采样2"]
  P3 [label="预测采样3"]
  C1 -> P1
  C2 -> P2
  C3 -> P3
  P1 -> A [label="人工学习"]
  P2 -> A 
  P3 -> A [label="机器学习"]
  A [label="近似模型"]
  }
#+end_src

#+RESULTS:
[[file:./now-reconstruction.pdf]]

**** 近似模型
- 人为寻找规律，人为概括，得到一个近似的 \( p(D|\theta_T, \theta_E, T) \)
  + 应用贝叶斯公式求解
#+beamer: \pause
- 机器寻找规律，得到一个 \((D, \theta_E, T) \to \theta_T\) 的映射，不再具有数理统计性质
  + 误差分析必须另外移植缝合

** 大作业
*** 大作业安排
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
***** 正向第一阶段
[[file:./MC-predict.pdf]]

- 2025-07-03 起约三星期，截止时间以网络学堂为准
- 模拟实验测量
- 考查 Git 团队协作

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
***** 逆向第二阶段

[[file:./MC-reconstruction.pdf]]
    
- 2025-07-17 起约两星期，截止时间以网络学堂为准
- 分析数据
- 测量模型参数
- 黑盒分数按排名
- 考查 Git 团队协作

*** 实验测量的模拟
    - 输入 :: 物理对象的信息，随机因素的概率分布
    - 输出 :: 多阶段，最终输出为模拟的实验测量原始数据
    - 可视化 :: 中间结果用图表描述
    - 采分 :: 各阶段的实现，最终输出的正确性，作业报告

**** 分组
    - 同学们先联络好，组队信息在网络学堂提交
    - 推荐每队三人
      - 每人大作业得分 = 队伍得分。
      - 单人组队会失去 Git 团队协作得分。
      - 不同队伍间请勿直接交换代码

    - 大作业带有较高难度的附加任务，至多在（黑盒）满分基础上加 10%。

*** 大作业
- 物理学是实验科学
- 实验研究的两个方向：
  1. 演绎，模拟
  2. 分析
 
**** 自定义大作业

*** 批量处理海量数据
    #+BEGIN_SRC dot :file ./multi-driver.pdf
      digraph python {
      rankdir="LR";

      I [label = CSV]
      I1 [label = "CSV\n×100"]
      I -> P [label = 数据输入]
      I1 -> P
      P [label = 程序1, shape = box]
      O [label = HDF5]
      O1 [label = "HDF5\n×100"]
      P -> O [label = 数据输出]
      P -> O1
      O1 -> Q
      O -> Q [label = 数据输入]
      Q [label = 程序2, shape = box]
      Q -> F
      F [label = 结果图]
      Q -> F1
      F1 [label = "结果图\n×100"]
      R [label = 程序3, shape = box]
      O -> R
      O1 -> R
      R -> G
      G [label = "汇总图"]
      }
    #+END_SRC

    #+attr_latex: :height 4cm
    #+RESULTS:
    [[file:./multi-driver.pdf]]

**** 命令行探索之后，要将数据处理方法自动化
     - 实验要调用很多命令和程序
       - 重复运行，控制变量：以不同条件多次测量，探索规律
     - 处理很多数据，有很多中间结果，依赖关系复杂
     - 程序有更新怎么办？数据有更新怎么办？
*** 数据流水线的构造目标
**** _复现_ 原则的要求                                       :B_exampleblock:
     :PROPERTIES:
     :BEAMER_env: exampleblock
     :END:
     要记录下来以什么样的顺序和参数运行什么命令，执行什么程序。
**** 思路和要点
    - 把流程系统化成输入、输出与过程三要素。
      - 而向数据编程，data-driven programming
    - 系统表达输入数据、输出数据和中间结果的依赖关系，
      + 成为“可执行的说明文档”
    - 高效执行，包括并行处理和整合超级计算机等。
    - 错误恢复
      - 修正错误后，可以从最后一步正确的数据开始继续执行。

*** Make 是最佳工具
    - =make= 工具已经有 40 多年的历史，最初用来管理 C 语言程序的编译。
      - 根据依赖关系决定命令执行顺序
    - =GNU make= 是 =GNU= 运动中，对 =make= 进行的扩展，更适合管理数据
      - 版本 \( \ge 4.3 \) 支持 _多目标规则_
        #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
make --version
        #+end_src

        #+RESULTS: 80cfe7aa-1475-486b-840d-d8b010e9f7aa
        : GNU Make 4.3
        : Built for x86_64-pc-linux-gnu
        : Copyright (C) 1988-2020 Free Software Foundation, Inc.
        : License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
        : This is free software: you are free to change and redistribute it.
        : There is NO WARRANTY, to the extent permitted by law.

**** 作用
     1. 实现 _复现_ 要求
     2. 管理程序运行，在超级计算机上运行
     3. 从错误中恢复
*** Make 要素：Makefile 对流程的定义
    - 文档
      #+BEGIN_SRC bash
        info make
        man make
      #+END_SRC
    - GNU Make 恰好可描述数据流水线的三要素：输入、输出与程序。
    - 基本结构
      #+BEGIN_SRC makefile -i
target: source
	program source target # 必须TAB 起始，记录如何做
      #+END_SRC

      #+BEGIN_SRC makefile -i
输出目标: 输入源
    执行的命令 $^ $@
      #+END_SRC
      - =$^= 代表输入源
      - =$@= 代表输出目标
    - =make -n= 用来测试即将执行的命令。
    - 基本语法单元：清晰写明输入数据，输出数据和计算方法

***** 参考书
John Graham Cumming, The GNU Make Book

* GNU 命令行
  :PROPERTIES:
  :EXPORT_FILE_NAME: p8
  :EXPORT_DATE: 2025-07-07 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习与提示
*** 软件准备
    - GNU 环境 :: 课程与作业环境
    - sed :: 文本流编辑器
    - gawk :: GNU awk 语言，数据驱动程序语言
      - Alfred Aho, Peter Weinberger, and Brian Kernighan
    - coreutils :: GNU 核心命令
    - man-db :: 帮助文档阅读器
    - info :: 层级帮助文档阅读器
    - curl :: 网络请求和下载器
    - bc :: 计算器
    - file :: 查看文件类型
    - bash-doc :: bash 详细教程
      
    #+begin_src bash
      apt update
      apt install gawk file sed man-db info wget curl bc bash-doc neofetch
    #+end_src
*** 复习
**** Git
     - 队友分工合作，过去与未来的合作
**** Python
     - 程序结构，数据类型，数组张量，画图
**** 技能学习的特点
     - 归纳地学习黑客技术
     - 先“不求甚解”再择最重要的“寻根究底”，在两种学习模式间自由跳跃。
       - 在麦克斯韦方程出现之前，已经有光学
       - 不是只有做完实验才能吃饭
*** i 技能学习的特点                                        :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
当我们使用 Python 的 REPL 环境时，它本身也是一个程序，由我们从外壳（shell）执行了。这一部分的目标是从 Python 出发，“向外”探索，分析 Python 所运行的环境，深入操纵计算机系统。

学习的风格是是归纳地学习黑客技术。“黑客技术”带有强烈的文化色彩：当黑客使用一件工作或见到一个物品，他都非常有兴趣与激情去了解它本质的内在机制。在了解它之后去改造它，让它更好地服务人的生活。黑客精神和物理学相通。物理学家理解世界后试着改造世界，让生活变得更美好。

在前两部分的 Python 内容中，这种精神已经有了体现。同学们在配置环境时，遇到了 bug 要可复现地描述清晰，探索解决办法，解决问题后如何分享。大家在调试程序时，就在面对一个工具，你只有彻底理解它，才可能调试好，让工具按照人的意愿工作。我们已经践行了黑客精神。

技术在科学领域之外。技术与科学最重要的不同，在于技术要面对纷繁复杂的现实世界，复杂到人的脑力无法彻底理解。如果再让人类重新构建一遍电气社会和计算机系统，那很可能因为人和环境不相同而构建出来完全不一样的体系。也许它们在抽象层面本质一样，但是形式上却很不同。技术是历史路径和人类经验依赖的，它没有唯一解。

当然经验的总结也能经过高度概括发展成科学。科学可以源于技术的积累，只是科学可被表述成非历史路径依赖的。以经典力学为例，它经过了几轮革命性的重塑，当下我们对经典力学的描述已经有一个普适的方式，至于历史上力学如何描述已经不是那么重要了。它已经成为科学，可以从简单的假设为内核出发演绎，这个内核简洁明了自洽。

对物理专业的学生而言，前两年的课程都是前人科学思想的浓缩总结，容易形成寻根究底的学习习惯。大家学习了麦克斯韦方程，但是没有学习麦克斯韦方程出现之前的手磨透镜的光学技巧。即使科学比技术更本质，但不能因为科学存在而轻视技术。如果不掌握“形式”的技术，就难以迈出学习的第一步。

在下面的技术学习中，你尽可能跟着我一起把的例子都自己运行一遍，在理解机理前，你也会发现它有确定的运行条件和运行结果。当你再次使用它，经验慢慢聚集到一起，逐渐形成你的技能树。你从收集经验的碎片开始，经过不断练习在某一天发现它们连接起来形成了技能树，而不是从一个树根直接生长到树叶。积累碎片的过程是混乱痛苦的，我尽可能的梳理出工具的逻辑，有条理地给同学们呈现出来。但它只是辅助，学习的“寻根究底”行为要有一个边界，大家可以探讨技术后面的“本质”。但同时，当你发现不理解某物，却可以运行的时候，请不要有心理负担坦然使用它。

*** Python 程序的支撑
    #+BEGIN_SRC dot :file ./python-driver.pdf
      digraph python {
      rankdir="LR";

      I [label = CSV]
      I -> P [label = 数据输入]
      P [label = 程序1]
      O [label = HDF5]
      P -> O [label = 数据输出]
      O -> Q [label = 数据输入]
      Q [label = 程序2]
      Q -> F
      F [label = 结果图]
      }
    #+END_SRC
    #+attr_latex: :height 2cm
    #+RESULTS:
    [[file:./python-driver.pdf]]

    - 程序由 Python 书写，或者 R、C++ 等等任何最佳工具
    - 透明数据的格式和可复现的结果图。
**** 如何把它们组织起来？
     - 如何管理 GB、TB 乃至 PB 级的输入输出数据？
     - 如何高效地在不同组输入数据上重复运行亿万次？
     - 四大基本原则在此依然适用。

*** i Python 程序的支撑                                     :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:

掌握了 Python 语言后，可以写数据处理和物理规律推断工具了。在综合运用和组织工具，完成一件复杂的任务如大作业的过程中，如果每个子任务都写一个程序解决，很快就会好多个程序。这些程序之间如何协调？下面我们学习协调 Python 脚本运行的最佳工具，而不是用 Python 脚本管理 Python。

如图中的例子，在数据处理流程中，程序1和程序2由 Python 写成。这个流程在实验中要被执行千万遍，输入为几百万个CSV文件。为了高效地执行 Python 程序，让步骤一个不落地完成，我们要学习新的工具。虽然我们在这一部分跳出 Python，出发点已变，但是已经有的四大基本原则依旧适用：在任何时候都要保证工作可复现，中间结果透明，不管数据处理流程多么复杂都要确保“一次”，每个工具都有特定的适用范围。

** 命令行
GNU 命令行界面在配置环境时大家已有经验。每个人在刚刚接触命令行界面都有不同的感受，或者觉得很酷，或迷茫，或无助，抑或觉得复古。这种感觉总结起来，是“文化冲击”。好像出国留学，来到陌生国度。你发现需要换纸币电子支付不普及，你发现城市里没有出租车，你发现大家直接用手抓着饭吃，你发现竟然人类社会的邻里关系和同事关系可以如此不同。在异国他乡会有诸多不适，开始我们不断问“怎么是这样？”，慢慢开始思考“这是为什么？”。当我们进入命令行，配置环境时，都要进入一个纯黑的界面——虽然不只是配色，“纯黑”是个比喻——大家所感受到的不适，正是文化冲击。当今世界，资本越来越希望用表面的、绚烂的东西抓住我们的注意力，从而借投放广告等牟利，对我们的思想产生影响，例如无限接续的短视频。纯黑的界面恰恰相反，它很拽，你不跟他说，他也不理你。你让它干什么它就什么，你没让它干它就什么也不干，从来不会主动来找你推送。这是巨大的文化差异。

你马上会进入魔法世界，慢慢从麻瓜变成魔法师。命令界面更本质地贴近于计算机系统，2024年的人类社会，几乎所有日常生活都已被计算机支配，除非是在冥想，每时每刻都无法离开计算机了。，当然啊，当然我们我们口袋里的这些东西这也都是。计算机程序本质上都是0和1，即一串字符。如果掌握字符的与计算机交互的界面——一切离散对象都能映射到自然数，0和1也能表达成自然数，一切的字符通信本质上还是0和1——就在计算机支配的世界里，掌握了计算机的基本通信方式，直接和计算机对话，就等于我们从麻瓜变成了魔法师。

好，那么我我们回过头来说，我们为什么这个课程里边我们要学习这个呢？那么当然是要做。做这个实验物理啊，实验物理的这个数据处理，尤其是大规模的数据处理。首先呢，我们要保证啊，这个通过命令行来保证这个负限性，也就是我们写出了一个python程序，大家已经很好的贯彻了我们四个原则，这个python程序写的非常优美。呃，写的写的非常的非常具有可复现性，然后非常好。

*** GNU 命令行界面：神秘的黑色魔法世界
    - 我们已经接触的命令：
      =ls=, =cd=, =rm=, =git=, =less=, =man=, =cat=, =pwd=
**** 为什么学习命令行
 - _复现_ 原则的保证
   - Python 程序，有明确的功能，定义了输入和输出。
   - 需要高效且可复现地整合协调各类程序，处理数据。
 - 体现 _透明_ 原则
   - 数据的中间结果，可以用命令行工具查看 =cat=, =less=, =h5dump= ...
   - 注：对应的图形工具也存在，可互相搭配。
 - 体现 _最佳工具_ 原则
   - GNU 命令行目前是文件和数据处理流程管理的最佳工具
   - 人操纵计算机最高效的方式：快捷键
**** 参考书
     Jeroen Janssens, Data Science at the Command Line

*** 两周之后，你可能会成为：
    [[http://hep.tsinghua.edu.cn/~orv/teaching/Yuki_Installs_Gentoo.mp4][ゆき Installs Gentoo]]
    #+attr_latex: :height 5cm
    [[./fig/gentoo.png]]
*** 数字时代：如何更本质地与世界相连？
- 我们购买设备，使用设备。
  - 如果可以理解设备，改造设备、修理设备和创造设备，生活会有什么变化？
- 程序和命令行是掌控自己数字世界的重要一步
  - 如果你不掌控自己的世界，别人就会代替你成为主人
  - 菜单、窗口是他们设计好给我们用的，程序、命令是自己组合给自己用的。
**** 手机例子
     - [[https://www.youtube.com/watch?v=8mAf9WXlAJE][Gentoo on Android]]
**** 命令行迫使我们思考
对任何人下达明确的指令，都是困难的。对机器也是。除非通过思考，我们无法让指令明确

而命令行会非常诚实，任何不明确的指令都会被惩罚（报错）

** 命令行的特点
*** 命令行的易用性
- 命令行是天然的 REPL
- 命令行有最丰富的文件操作工具
- 介于程序设计语言与图形界面之间
- 是计算机系统的“母语”，用户与开发者的重叠更大
  - 科学计算中，不是任何时候都有现成的工具可用，经常需要自己开发
    + 对于科学探索来说，地表最强的产品经理也没用用
  - 依赖命令行可以缩小开发者与用户的鸿沟

#+beamer: \pause
**** 命令行的整合性和扩展性
 - 所有的语言工具都可以从命令行调用

   - 新的语言写成的命令行工具不断涌现，许多工具非常适合用于数据处理

 - 命令行是天然的“胶水”，整合各类语言协同工作
   - 鼓励小巧精悍工具的组合，避免又长又难理解的马拉松程序出现
   - 不论流行的语言 Perl、Python、Scala 如何变化，命令环境基本不变

*** 命令行的自动性

- 使用的命令可以轻易组成脚本，重复使用
  - 图形界面不易录制操作
- 命令的传递方式是字符，字符可以被清晰地表述处理，因此可充分自动。

#+beamer: \pause
**** 命令行的普适性

- GNU/Linux, 各种 Unix，macOS，Microsoft Windows WSL.
- 世界顶级的超级计算机，云计算主机，智能手机，物联网设备都可用同一套命令行工具操作
- 已有约50年历史，一定会继续存在
  - 字符的编码标准起源于电报机时代，一个多世纪以来不变。
  - 当今的计算机“终端”“控制台”“命令行”“外壳”（名字太多，统一不了）仍在模拟一个电报机（teleport）。

** 外壳
*** 外壳 shell
**** t                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.7
     :END:
- 外壳 shell 是相对于操作系统内核 kernel 而言，与人类交互的部分
- 有命令行 (Command Line Interface, CLI) 和图形 (Graphical User Interface, GUI)两种
- Python 在 shell 之上运行
***** 实际上 Python 也可以成为外壳环境
      - Python 与 =bash= 平等，都是“用户态”程序 userspace
      - =bash= GNU Bourne-Again SHell, 目前使用最为广泛，方便进行文件操作和调用命令
        - =man bash= 可阅读在线文档
        - =info bash= 获得详细教程
**** i                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.299
     :END:
    #+BEGIN_SRC dot :file ./shell.pdf
      digraph shell {
      rankdir="BT";
      node [shape=box]; H; K; S; P
      H [label = 硬件]
      H -> K [arrowsize=0.5]
      K [label = "内核 kernel"]
      K -> S [arrowsize=0.5]
      S [label = "外壳 shell"]
      S -> P [arrowsize=0.5]
      P [label = 程序]
      }
    #+END_SRC

    #+attr_latex: :height 7cm
    #+RESULTS:
    [[file:./shell.pdf]]

*** 命令的类型
- 可执行程序，例如 =ls=
  #+NAME: 235a85b9-dc8c-458c-9a5f-fd580c21268b
  #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
type ls
  #+end_src

  #+RESULTS: 235a85b9-dc8c-458c-9a5f-fd580c21268b
  : ls is hashed (/bin/ls)
- 脚本，例如 Python 程序
  #+NAME: 4442c149-5223-4d74-affb-f3fc54d92b6b
  #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
    type vitables
    file $(realpath /usr/bin/vitables)
  #+end_src

  #+RESULTS: 4442c149-5223-4d74-affb-f3fc54d92b6b
  : vitables is /usr/bin/vitables
  : /usr/bin/vitables: Python script, ASCII text executable

- Shell 内建命令，例如 =cd=
  #+NAME: c50e7d7a-ac26-444a-8bae-f2d99a73c3b3
  #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
    type cd
    type type
  #+end_src

  #+RESULTS: c50e7d7a-ac26-444a-8bae-f2d99a73c3b3
  : cd is a shell builtin
  : type is a shell builtin
*** 命令的类型（二）
- Shell 函数
  #+NAME: 2df81f46-300b-404f-a597-ec048702ead4
  #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
    function hello { :; }
    type hello
  #+end_src

  #+RESULTS: 2df81f46-300b-404f-a597-ec048702ead4
  : hello is a function
  : hello () 
  : { 
  :     :
  : }

- 别名 alias
  #+NAME: 127c5876-45be-42c7-9f88-cefa032e6f06
  #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
    alias vt='vitables -m r'
    type vt
  #+end_src

  #+RESULTS: 127c5876-45be-42c7-9f88-cefa032e6f06
  : vt is aliased to `vitables -m r'
  
** 标准输入输出
*** 概念
   - 标准输入 standard input =stdin= (file descriptor 0)
   - 标准输出 standard input =stdout= (fd 1)
   - 标准报错 standard error =stderr= (fd 2)
**** 管道
     - 把前一个程序的标准输出和后一个标准输入连接起来
     - 无限串联，每个命令各司其职
**** 复习 Python 的标准输入和输出
 - =input()= 标准输入
 - =print()= 标准输出
 - =print(..., file=sys.stderr)= 标准报错
*** 输出
    #+NAME: 0dee74d9-e442-43fd-b539-9d3ba577f5a4
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
echo "I am using the command line!"
    #+end_src

    #+RESULTS: 0dee74d9-e442-43fd-b539-9d3ba577f5a4
    : I am using the command line!

**** 管道注入 =wc=
     #+NAME: d566d5ac-7382-4db1-a1cf-3268defa4796
     #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
echo "I am using the command line!" | wc -c
     #+end_src

     #+RESULTS: d566d5ac-7382-4db1-a1cf-3268defa4796
     : 29
*** 管道用于筛选
    #+NAME: 2eb6a29f-9a9b-4db6-a763-1d7519efe5e3
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 5
    #+end_src

    #+RESULTS: 2eb6a29f-9a9b-4db6-a763-1d7519efe5e3
    : 1
    : 2
    : 3
    : 4
    : 5
    #+NAME: f99e0092-be42-49b9-9f18-b1afaff9e175
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 30 | grep 7
    #+end_src

    #+RESULTS: f99e0092-be42-49b9-9f18-b1afaff9e175
    : 7
    : 17
    : 27
    #+NAME: 9aa351f1-9fd2-47b8-8a6a-016c14ecbbe4
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 100 | grep 7 | wc -c
    #+end_src

    #+RESULTS: 9aa351f1-9fd2-47b8-8a6a-016c14ecbbe4
    : 56
*** 保存管道的中间结果
    - =tee=
      #+NAME: ddbf382b-0914-489a-b138-bcc7d6a5fb11
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        seq 100 | grep 7 | tee number-seven.txt | wc -c
      #+end_src

      #+RESULTS: ddbf382b-0914-489a-b138-bcc7d6a5fb11
      : 56

      #+NAME: a3b9a60c-9492-4324-82b9-018be204f445
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        cat number-seven.txt
      #+end_src

      #+RESULTS: a3b9a60c-9492-4324-82b9-018be204f445
      #+begin_example
      7
      17
      27
      37
      47
      57
      67
      70
      71
      72
      73
      74
      75
      76
      77
      78
      79
      87
      97
      #+end_example

*** 重定向
    - 标准输入和输出都可以被重定向到文件
      #+NAME: 183678c5-7f3c-414e-b0a4-7499a6a3ec2c
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 100 > s100
cat s100 | head
      #+end_src

      #+RESULTS: 183678c5-7f3c-414e-b0a4-7499a6a3ec2c
      #+begin_example
      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      #+end_example
      #+NAME: 6b330a4d-e274-4144-a7b9-894f85e29d44
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
wc -l < s100
      #+end_src

      #+RESULTS: 6b330a4d-e274-4144-a7b9-894f85e29d44
      : 100
*** 自由管道 FIFO named pipe
    #+NAME: ffe09bc3-7c05-4f65-bd78-2903f5bd432a
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      mkfifo filter.pipe
      seq 100 > filter.pipe &
      grep 7 < filter.pipe
    #+end_src

    #+RESULTS: ffe09bc3-7c05-4f65-bd78-2903f5bd432a
    #+begin_example
    [1] 42881
    7
    17
    27
    37
    47
    57
    67
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    87
    97
    [1]+  Done                    seq 100 > filter.pipe
    #+end_example
*** 任务控制
    - bash 环境中 =&= 代表置于后台运行。
      #+NAME: 9ae42332-2c50-45d7-83fa-e4e32a4ed0f9
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        sleep 1m &
        sleep 2m &
        jobs
      #+end_src

      #+RESULTS: 9ae42332-2c50-45d7-83fa-e4e32a4ed0f9
      : [1] 43068
      : [2] 43069
      : [1]-  Running                 sleep 1m &
      : [2]+  Running                 sleep 2m &

    - =fg= 将任务拉至前台
    - =bg= 将任务转至后台
    - =kill= 将任务终结
    - =^z= （Ctrl-z），挂起前台任务
    - =^c= 终结前台任务
*** 计算器的四种写法
    - =awk= 派，使用 =awk= 语言
      #+NAME: ef584cec-3231-4b6d-91cc-051abb31e987
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
cat s100 | awk '{total+=$NF} END {print total}'
      #+end_src

      #+RESULTS: ef584cec-3231-4b6d-91cc-051abb31e987
      : 5050

    - =Python= 派？Python 无法写成一行
    - =paste= 派
      #+NAME: e31e35fa-c7ac-4b92-b0fe-485c113bde2e
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        cat s100 | paste -s -d +
        cat s100 | paste -s -d + | bc
      #+end_src

      #+RESULTS: e31e35fa-c7ac-4b92-b0fe-485c113bde2e
      : 1+2+3+4+5+6+7+8+9+10+11+12+13+14+15+16+17+18+19+20+21+22+23+24+25+26+27+28+29+30+31+32+33+34+35+36+37+38+39+40+41+42+43+44+45+46+47+48+49+50+51+52+53+54+55+56+57+58+59+60+61+62+63+64+65+66+67+68+69+70+71+72+73+74+75+76+77+78+79+80+81+82+83+84+85+86+87+88+89+90+91+92+93+94+95+96+97+98+99+100
      : 5050
*** 帮助
    - manual page =manpage=
      #+NAME: b776910b-d166-4fd8-bf31-c75374edb0f7
      #+begin_src bash
      man cat
      man paste
      #+end_src
      - Emacs =M-x woman=
    - info page
      #+begin_src bash
      info cat
      info paste
      #+end_src
      - Emacs =C-h i=
    - 命令 =--help= =-h=
*** 帮助（二）
      #+NAME: 7976d487-5683-4434-9f2a-fdefd9d69586
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        uname --help
      #+end_src

      #+RESULTS: 7976d487-5683-4434-9f2a-fdefd9d69586
      #+begin_example
      Usage: uname [OPTION]...
      Print certain system information.  With no OPTION, same as -s.

        -a, --all                print all information, in the following order,
                                   except omit -p and -i if unknown:
        -s, --kernel-name        print the kernel name
        -n, --nodename           print the network node hostname
        -r, --kernel-release     print the kernel release
        -v, --kernel-version     print the kernel version
        -m, --machine            print the machine hardware name
        -p, --processor          print the processor type (non-portable)
        -i, --hardware-platform  print the hardware platform (non-portable)
        -o, --operating-system   print the operating system
            --help     display this help and exit
            --version  output version information and exit

      GNU coreutils online help: <https://www.gnu.org/software/coreutils/>
      Full documentation <https://www.gnu.org/software/coreutils/uname>
      or available locally via: info '(coreutils) uname invocation'
      #+end_example
** 命令巡礼
*** 本机信息
    #+NAME: 0a220ee3-2cd4-49a5-a03f-63f72bcc1ad6
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      hostname
      uname -a
    #+end_src

    #+RESULTS: 0a220ee3-2cd4-49a5-a03f-63f72bcc1ad6
    : dpcg
    : Linux dpcg 5.10.8-gentoo-x86_64 #1 SMP Sun Aug 15 14:46:49 CST 2021 x86_64 AMD EPYC 7742 64-Core Processor AuthenticAMD GNU/Linux

    #+NAME: 1d5dd825-a10e-47db-8a79-3863b8ece63c
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      id
      date
    #+end_src

    #+RESULTS: 1d5dd825-a10e-47db-8a79-3863b8ece63c
    : uid=1003(xubd) gid=1003(xubd) groups=1003(xubd),10(wheel),103(vboxusers),250(portage),999(xpra),1001(astrotools)
    : Mon Jul 25 10:53:06 AM CST 2022
*** 本机信息
    #+NAME: 00f33dbd-f018-4d4c-a07a-d1fd175b4039
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      uptime
      dmesg | tail
    #+end_src

    #+RESULTS: 00f33dbd-f018-4d4c-a07a-d1fd175b4039
    #+begin_example
     10:53:35 up 86 days, 23:32,  7 users,  load average: 1.05, 0.59, 0.36
    [6943834.870848] nfs: server jpd not responding, timed out
    [6943847.158500] nfs: server jpd not responding, timed out
    [6943852.790312] nfs: server jpd not responding, timed out
    [6943871.733748] nfs: server jpd not responding, timed out
    [6943888.645236] nfs: server jpd not responding, timed out
    [6943894.261019] nfs: server jpd not responding, timed out
    [6943900.404864] nfs: server jpd not responding, timed out
    [6943906.420662] nfs: server jpd not responding, timed out
    [7345744.319918] xpra[197935]: segfault at 1 ip 00007f687e955f89 sp 00007fff68363050 error 4 in libgdk-3.so.0.2404.26[7f687e901000+5d000]
    [7345744.319934] Code: 00 00 48 89 44 24 08 31 c0 e8 53 be fc ff 48 85 c0 74 1d 0f b6 50 4c 66 81 e2 fd 00 66 83 fa 01 75 0e 48 8b 50 18 48 8b 42 28 <f6> 40 01 80 75 21 48 8b 44 24 08 64 48 2b 04 25 28 00 00 00 75 5f
    #+end_example
*** 日常
    - 创建空文件
      #+NAME: 3fbe80b5-b9c3-4839-ba84-0c96e6429dff
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        touch nf
        ls -l nf
      #+end_src

      #+RESULTS: 3fbe80b5-b9c3-4839-ba84-0c96e6429dff
      : -rw-r--r-- 1 xubd xubd 0 Jul 25 11:01 nf

    - 输出信息
      #+NAME: 38d52f35-c2a2-448c-82d8-b661677b6e26
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        echo "Hi!"
      #+end_src

      #+RESULTS: 38d52f35-c2a2-448c-82d8-b661677b6e26
      : Hi!
*** =cut= 选择列
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src bash :results output
sudo dmesg | cut -c-15 | tail
#+end_src

#+RESULTS:
#+begin_example
[370615.920192]
[370616.151878]
[370616.389111]
[370619.345380]
[370619.345382]
[370619.365730]
[370619.365751]
[476022.060361]
[476109.862666]
[476204.332049]
#+end_example

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src bash :results output
ls -1 */* | cut -d/ -f 1 | uniq
#+end_src

#+RESULTS:
#+begin_example
__pycache__
_minted-e1
_minted-e2
_minted-e3
_minted-e4
_minted-e5
_minted-e6
_minted-e7
_minted-e8
_minted-e9
_minted-ea
_minted-eb
_minted-ec
_minted-ed
_minted-ee
_minted-ef
_minted-p2-ein
_minted-p2
dataframe-practice
ein-images
fig
img
lecture
lm-examples
notebooks
out
upload
#+end_example

*** 文件信息
    - 寻找 =dev/waveform-compress= 路径之下所有 =R= 程序文件
      #+NAME: 1f94709e-b060-4fd0-9c26-57ff71d1ff68
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        find dev/waveform-compress -name "*.R"
      #+end_src

      #+RESULTS: 1f94709e-b060-4fd0-9c26-57ff71d1ff68
      : dev/waveform-compress/compress_comp.R
      : dev/waveform-compress/compress_core.R
      : dev/waveform-compress/compress_one.R
      : dev/waveform-compress/getH.R
      : dev/waveform-compress/wdlib.R

    - 识别文件类型
      #+NAME: f3214c4d-5a3e-462d-ad4d-cc837ceafcf4
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        file dev/waveform-compress/compress_one.R
      #+end_src

      #+RESULTS: f3214c4d-5a3e-462d-ad4d-cc837ceafcf4
      : dev/waveform-compress/compress_one.R: a /usr/bin/env Rscript script, ASCII text executable

** 通配符
*** 定义
- 通配符可以按规则匹配，用于构造简单匹配模式

  - =*= 匹配任意多个任意字符
  - =?= 匹配一个任意字符

    #+NAME: 5098a713-e3cf-4024-aba9-5bb45bb6de63
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      cd physics_data
      ls *.html
    #+end_src

    #+RESULTS: 5098a713-e3cf-4024-aba9-5bb45bb6de63
    : Command-Line.slides.html    Python-Basics.slides.html
    : Data-Formats.slides.html    Python-Constructs.slides.html
    : Data-Frame-RPy.slides.html  Python-Functions.slides.html
    : Data-Frame.slides.html	    Python-Modules.slides.html
    : Pandas-RDB.html		    Python-SQLite.slides.html
    : Pandas-RDB.slides.html	    Shell-Scripts.slides.html
    #+NAME: b305b3c5-055b-4950-bbad-4db85e9683d7
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      echo *.html
    #+end_src

    #+RESULTS: b305b3c5-055b-4950-bbad-4db85e9683d7
    : Command-Line.slides.html Data-Formats.slides.html Data-Frame-RPy.slides.html Data-Frame.slides.html Pandas-RDB.html Pandas-RDB.slides.html Python-Basics.slides.html Python-Constructs.slides.html Python-Functions.slides.html Python-Modules.slides.html Python-SQLite.slides.html Shell-Scripts.slides.html
*** 例子
    #+NAME: cbc4c3ba-763e-4499-8297-f11dc553daa1
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      ls Python-*.html
    #+end_src

    #+RESULTS: cbc4c3ba-763e-4499-8297-f11dc553daa1
    : Python-Basics.slides.html      Python-Modules.slides.html
    : Python-Constructs.slides.html  Python-SQLite.slides.html
    : Python-Functions.slides.html
    #+NAME: 45e152a5-c5a2-4cfc-91a1-6a7731eebcba
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      ls *.?pynb
    #+end_src

    #+RESULTS: 45e152a5-c5a2-4cfc-91a1-6a7731eebcba
    #+begin_example
    Command-Line.ipynb	   Pandas-RDB.ipynb
    Data-Formats.ipynb	   Python-Basics.ipynb
    DataFrame.ipynb		   Python-Constructs_Functions.ipynb
    Data-Frame-RPy.ipynb	   Python-Functions.ipynb
    GLM.ipynb		   Python-IO_Survival.ipynb
    GLM-Python.ipynb	   Python-SQLite.ipynb
    LIGO-intro.ipynb	   Relational-Algebra.ipynb
    LOSC_Event_tutorial.ipynb  Relational-SQL.ipynb
    Make-Pipeline.ipynb	   Shell-Practice.ipynb
    Merge-GroupBy.ipynb	   Shell-Scripts.ipynb
    NumPy.ipynb		   Visualization.ipynb
    NumPy-SciPy.ipynb
    #+end_example
** =bash= 的运行模式
*** 交互模式
    - +REPL+
**** 脚本模式
     - 把命令集合起来，逐条执行
     - 一边文件名以 =.sh= 结尾
       #+NAME: 0812dcd3-dc3e-4b78-8a08-f278919efd47
       #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
         echo "cat s100 | paste -s -d + | bc" > add-up-100.sh
         bash add-up-100.sh
       #+end_src

       #+RESULTS: 0812dcd3-dc3e-4b78-8a08-f278919efd47
       : 5050
*** 让脚本可执行
    - 在第一行填加脚本解释器 =#!/bin/bash= ，告知内核本脚本要由 =/bin/bash= 解释执行。 “#!”也称为“shebang”，意思是“sharp”（#）和“bang”（!）。
       #+NAME: b8f6cc07-2ac0-46b2-9ae4-1df3582ef24a
       #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
         sed '1i#!/bin/bash' -i add-up-100.sh
         cat add-up-100.sh
       #+end_src

       #+RESULTS: b8f6cc07-2ac0-46b2-9ae4-1df3582ef24a
       : #!/bin/bash
       : cat s100 | paste -s -d + | bc

    - 赋予可执行权限
      #+NAME: 2ee02d17-4049-4983-85c5-4a2522630c9a
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        chmod +x add-up-100.sh
        ./add-up-100.sh
      #+end_src

      #+RESULTS: 2ee02d17-4049-4983-85c5-4a2522630c9a
      : 5050

*** 脚本程序
- 世界上本没有脚本，打的命令多了，聚在一起，就形成了脚本
- 脚本可以当作命令使用
*** 例子： =bash= 脚本
    #+NAME: 7ea4e885-9e27-4b46-be96-bda28e2f59f2
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
cat arguments.sh
    #+end_src

    #+RESULTS: 7ea4e885-9e27-4b46-be96-bda28e2f59f2
    : #!/bin/sh
    : 
    : echo The first argument is $1
    : echo The second argument is $2
    : echo all the arguments are $@

    #+NAME: 780e6d3d-8558-4a1b-9b90-f7d32d3bd383
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      chmod +x arguments.sh
      ./arguments.sh 1输入 2参数
    #+end_src

    #+RESULTS: 780e6d3d-8558-4a1b-9b90-f7d32d3bd383
    : The first argument is 1输入
    : The second argument is 2参数
    : all the arguments are 1输入 2参数
*** Shebang 和脚本命令
- =#!= 是一对有特殊含义的字符，它处在第一行开头在被执行时，内核会寻找其后的解释器来运行其后的脚本。
- =chmod= 改变文件的权限，分别为 r 读 w 写 x 执行。
- =chmod +x arguments.sh= 给 =arguments.sh= 可执行的权限。
- 执行时，系统使用 =#!/bin/sh= 指定的 =/bin/sh= 执行程序。
  - =./arguments.sh= 等价于 =/bin/sh arguments.sh= 。
  - 注意 =/bin/sh= 很可能不是 =bash= 。需要 =bash= 时，直接使用 =/bin/bash=
  #+NAME: 680efed9-619f-408a-bd4f-1244be67c0d9
  #+begin_src bash
realpath /bin/sh # dash 是不同的 shell，功能少速度快
  #+end_src

  #+RESULTS: 680efed9-619f-408a-bd4f-1244be67c0d9
  : /usr/bin/dash

- 如果可执行的脚本在 =PATH= 指定的路径里，就可以被 shell 找到，例如 =egrep= 。
#+NAME: cc48721e-7c4a-46b1-b97f-765643de3402
#+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
file $(which egrep)
#+end_src

#+RESULTS: cc48721e-7c4a-46b1-b97f-765643de3402
: /bin/egrep: POSIX shell script, ASCII text executable
*** 脚本的参数
- 脚本调用时的参数，在脚本中使用 `$1` `$2`
  - 相当于 Python 的 `sys.argv[1]`, `sys.argv[2]`
- 所有的参数是 `$@`
#+NAME: 8e9cc35c-2863-4680-877b-b739a41e1714
#+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
cat /bin/egrep
#+end_src

#+RESULTS: 8e9cc35c-2863-4680-877b-b739a41e1714
: #!/bin/sh
: exec /bin/grep -E "$@"

- bash 脚本例子
#+NAME: d2099895-d340-408d-a261-f65cad5d3d09
#+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
file /usr/bin/* | grep "Bourne-Again shell" | head
#+end_src

#+RESULTS: d2099895-d340-408d-a261-f65cad5d3d09
#+begin_example
/usr/bin/AddOrReplaceReadGroups:                       Bourne-Again shell script, ASCII text executable
/usr/bin/ant:                                          Bourne-Again shell script, ASCII text executable
/usr/bin/antlr:                                        Bourne-Again shell script, ASCII text executable
/usr/bin/antlr3:                                       Bourne-Again shell script, ASCII text executable
/usr/bin/any2djvu:                                     Bourne-Again shell script, ASCII text executable
/usr/bin/apache-rat:                                   Bourne-Again shell script, ASCII text executable
/usr/bin/BamIndexStats:                                Bourne-Again shell script, ASCII text executable
/usr/bin/BamToBfq:                                     Bourne-Again shell script, ASCII text executable
/usr/bin/beeline:                                      Bourne-Again shell script, ASCII text executable
/usr/bin/binutils-config:                              Bourne-Again shell script, ASCII text executable
grep: write error: Broken pipe
#+end_example
** =bash= 变量
*** =bash= 变量
- 在 bash 中，一切皆字符串
- 变量需要额外的 =$= 来指定， =$a= 和 =${a}= 代表变量 =a= 的值
  - 类比 =make= ，使用 =$(a)= 代表变量取值
- 赋值号“=”的前后都不能有空格，与 Python 的格式建议相反！
#+NAME: 8f5c82cc-5576-42e9-b44c-c9620a33b65a
#+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
  a=1
  echo $a
  b=我是谁
  echo ${a}${b}
#+end_src

#+RESULTS: 8f5c82cc-5576-42e9-b44c-c9620a33b65a
: 1
: 1我是谁

#+NAME: 4c02860a-c628-4fb3-9852-db3efb1bb91d
#+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
echo "${a}${b}，我从哪里来" # 双引号中变量是被替换的
#+end_src

#+RESULTS: 4c02860a-c628-4fb3-9852-db3efb1bb91d
: 1我是谁，我从哪里来
*** 变量的引用
    - 无引号时，空格起作用
    - 单引号字符串中的字符保持不变
    - 双引号时，字符串中的变量被替换
    #+NAME: 03bd3de5-4e0d-4cd1-9e2b-e3627346b5d5
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
echo '${a}${b}，我从哪里来' # 单引号保持不变
    #+end_src

    #+RESULTS: 03bd3de5-4e0d-4cd1-9e2b-e3627346b5d5
    : ${a}${b}，我从哪里来

*** 引用命令的执行结果
- 把命令运行的标准输出赋给变量
- 与 =make= 类似，换行分隔的列表被转成由空格分隔
#+NAME: d97d62db-cfc2-467f-9753-3cb10a60a7d8
#+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
n_list=$(seq 9)
echo ${n_list}
#+end_src

#+RESULTS: d97d62db-cfc2-467f-9753-3cb10a60a7d8
: 1 2 3 4 5 6 7 8 9
#+NAME: f20334c4-56f4-4ba9-b9a2-c07e8598bec0
#+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
  n233=$(seq 10000 | egrep ^23+$)
  echo ${n233}
  echo ${#n233} # 字符个数
#+end_src

#+RESULTS: f20334c4-56f4-4ba9-b9a2-c07e8598bec0
: 23 233 2333
: 11

*** =bash= 数组
    - 虽然取名为数组 array ，但与 Python 的 列表更接近。
      - 可以存储任意元素。
    #+NAME: db43f577-e5a7-4d4c-8422-2c4f89d25874
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      busket=()
      busket+=( 香蕉 弥猴桃 牛油果 )
      busket+=( 西瓜 荔枝 )
      echo ${busket} # 按普通变量取值，只有第一个元素
      echo ${busket[@]}
      echo ${busket[3]}
    #+end_src

    #+RESULTS: db43f577-e5a7-4d4c-8422-2c4f89d25874
    : 香蕉
    : 香蕉 弥猴桃 牛油果 西瓜 荔枝
    : 西瓜

    #+NAME: c096b66d-d7dd-46a8-9264-843411f85a0b
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      echo ${#busket[@]} # 元素个数
    #+end_src

    #+RESULTS: c096b66d-d7dd-46a8-9264-843411f85a0b
    : 5
*** =bash= 字典
    - 又称关联数组 associative array ，类比 Python 字典
    #+NAME: f61927cf-be8b-4858-9db6-072cf5526967
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      declare -A cargo # 声明 cargo 是字典
      cargo[banana]=3
      cargo[apple]=4
      echo ${cargo[banana]}
      echo ${!cargo[@]} # 取词
      echo ${cargo[@]} # 取值
    #+end_src

    #+RESULTS: f61927cf-be8b-4858-9db6-072cf5526967
    : 3
    : apple banana
    : 4 3

*** =bash= 算术
    - =bash= 一等公民是字符串，算术运算用于辅助和便利
      - 比用管道 和 =$(...)= 简洁
    #+NAME: 16f900ed-a36d-49c1-851c-b0dddb3f6a5b
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      echo $((1+3)) $((3*5))
      echo $(echo 1+3 | bc) $(echo 3*5 | bc)
    #+end_src

    #+RESULTS: 16f900ed-a36d-49c1-851c-b0dddb3f6a5b
    : 4 15
    : 4 15
    - 但是计算能力有限，只能做简单运算
    #+NAME: cac37ef7-78e1-41de-a9c2-99f27393869f
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      echo $((2**100))
      echo $(echo "2^100" | bc)
    #+end_src

    #+RESULTS: cac37ef7-78e1-41de-a9c2-99f27393869f
    : 0
    : 1267650600228229401496703205376
** =bash= 程序结构
*** 选择结构
    #+NAME: e0c2f10f-c9d8-4b7d-a1d3-96d3be059199
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      if [ 3 -gt 2 ]; then
          echo "3>2"
      else
          echo "3<=2"
      fi
    #+end_src

    #+RESULTS: e0c2f10f-c9d8-4b7d-a1d3-96d3be059199
    : 3>2
**** 判断语句
     - =[...]= 是一个程序，正式名字是 =test=
     - 真假判断来自该程序执行的返回值。
       - 0 为真：执行成功
       - 非 0 为假：执行失败
       - 注意与 Python 正好相反！
**** 文档
     - =man [= 、 =info test=

*** 真假判断
    - =$?= 或 =${?}= 变量值是前一条命令的返回值
    #+NAME: 53457408-0033-4dd1-bb0c-ca912833d487
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      [ 1 = 2 ] # 假，返回非 0
      echo $?
      [ 2 != 3 ] # 真，返回 0
      echo $?
    #+end_src

    #+RESULTS: 53457408-0033-4dd1-bb0c-ca912833d487
    : 1
    : 0
    - =[ INTEGER1 -eq INTEGER2 ]= 相等
    - =[ INTEGER1 -ge INTEGER2 ]= 大于等于
    - =[ INTEGER1 -lt INTEGER2 ]= 小于
    - =[ INTEGER1 -ne INTEGER2 ]= 不等
    - =[ ! EXPRESSION ]= 取否
    - =[ EXPRESSION1 -a EXPRESSION2 ]= 取和
    - =[ EXPRESSION1 -o EXPRESSION2 ]= 取或
*** =bash= 内建真假判断
    - =bash= 提供了 =[[...]]= 的内建命令，兼容 =[...]= 语法，有更多功能
    - 内建命令，调用速度更快
    - 命令层次的逻辑运算
      - =command1 && command2= 取和
      - =command1 || command2= 取或
      - =! command= 取否
    - 逻辑运算替代选择结构，以下两者等价
    #+NAME: 3de9216b-c95d-40fa-9892-ee47023f68c2
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      if [ 3 -gt 2 ]; then
          echo "3>2"
      else
          echo "3<=2"
      fi
      # 逻辑运算替代选择结构，可读性更强
      [[ 3 -gt 2 ]] && echo "3>2" || echo "3<=2"
    #+end_src

    #+RESULTS: 3de9216b-c95d-40fa-9892-ee47023f68c2
    : 3>2
    : 3>2
*** 循环结构
    - =for= 循环，计算 Fabonacci 数
    - 从 =seq 10= 结果中，取得 10 个元素，用变量 =i= 遍历
      - 类比： Python for 循环，迭代器
    #+NAME: 55773626-a89b-4cdb-859d-90c74dd0f8cf
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
x=1
y=1
for i in $(seq 10); do
    s=$(($x+$y))
    x=${y}
    y=${s}
done

echo ${y}
    #+end_src

    #+RESULTS: 55773626-a89b-4cdb-859d-90c74dd0f8cf
    : 144
*** =while= 循环
    - 与 =seq 1000 | egrep ^23+$= 等价
    #+NAME: 8dea7aec-f23a-47ac-93a7-8ca727ed3c1b
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      seq 1000 | while read line
      do
          echo $line | egrep -q '^23+$' && echo $line
      done
    #+end_src

    #+RESULTS: 8dea7aec-f23a-47ac-93a7-8ca727ed3c1b
    : 23
    : 233
    : 

*** =until= 循环
    - 与 =while= 循环类似，条件相反
    #+NAME: 8e1e4763-f8da-47c5-a34d-92b056e44a03
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      seq 1000 | until ! read line
      do
          echo $line | egrep -q '^23+$' && echo $line
      done
    #+end_src
**** 循环控制命令
     - =break= 终止循环、 =continue= 跳入下一轮循环
    #+NAME: 8e1e4763-f8da-47c5-a34d-92b056e44a03
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      seq 1000 | until ! read line
      do
          if echo $line | egrep -q '^23+$'; then
              echo $line
              break
          fi
      done
    #+end_src

** =bash= 函数
*** 函数定义
    - =bash= 函数是五种命令之一
    #+NAME: 7d2cb440-781d-43a7-a796-2956f8fcda90
    #+begin_src bash :results output :exports both
      function greet() {
          echo "Hello, $1"
      }

      greet 大佬
    #+end_src

    #+RESULTS: 7d2cb440-781d-43a7-a796-2956f8fcda90
    : Hello, 大佬

*** 函数递归
    - 递归计算 Fabonacci 数
    - =$(command)= 从 =command= 的标准输出取得结果
    - =return= 给返回值，只能用 =$?= 捕捉或者用于逻辑运算
      - 与 Python 函数完全不同，因为命令成功与失败的判断更重要
    #+NAME: d0255648-313d-4572-b131-3354a78240b1
    #+begin_src bash :results output :exports both
      function fib() {
          if [ $1 -le 2 ]; then
              echo 1
          else
              echo $(($(fib $(($1-1))) + $(fib $(($1-2)))))
          fi
      }

      fib 11
    #+end_src      

    #+RESULTS: d0255648-313d-4572-b131-3354a78240b1
    : 89
*** =bash= 的代码块与子进程
- ={...}= 代表一个代码块，把多行代码汇总成一个单元。
- =(...)= 使用复刻(=fork=) 一个子 =bash= 运行代码。
  + 子 =bash= 中的变量设置不影响外层 =bash= 。
    #+begin_src bash
      s=1
      ( s=2; )
      echo $s
    #+end_src

    #+RESULTS:
    : 1

  + 类比： =$(seq 100)= 代表复刻后运行 =seq= 提取标准输出。

** =bash= 调试
*** =bash= 调试
- 交互法 :: 在 =bash= 环境试验获得想要的语句
- 屏幕输出法 :: 用 =echo ... >&2= 输出到标准错误 =stderr=
- 额外调试信息输出法 :: =set -xv= 开启调试输出
  - =set +xv= 关闭调试输出
  - =bash -xv script.sh= 以调试模式执行脚本
**** bash(1)
- =-v= Print shell input lines as they are read.
- =-x= Print commands and their arguments as they are executed.

** 总结
*** 使用 =bash= 的原因
- =bash= 的列表、字典，形似 Python，计算能力不如 =bc= ，为什么值得使用？
- 最佳工具：使用 =bash= 处理文件时，有时需要列表、字典和算术
  - 但不需要太多。需要更专业的操作时，意味着更高级的工具胜任
  - “信手拈来”的境界是创新的温床，重大的全新突破都在有了足够积累后不经意间出现
    - 不经意的前提是：放松、随意
  - 不让大脑等待双手是最佳工具原则的最高等级
    - 人机交互，打字，扔掉鼠标
    - 避免不必要的环境切换


** 备用
** 娱乐命令
*** =sl=
    #+NAME: 442a3502-6826-45a2-9b22-f2e3591f6295
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      sl
    #+end_src

    #+RESULTS: 442a3502-6826-45a2-9b22-f2e3591f6295
    : bash: sl: command not found
    : 
    :
    
    #+attr_latex: :height 4cm
    [[./fig/question.jpeg]]

    #+begin_src bash
      apt install sl
    #+end_src
*** =matrix= 可操作动画
    - 安装
      #+begin_src bash
apt install cmatrix
      #+end_src
    - 文档
      #+begin_src bash 
man cmatrix
      #+end_src
    
*** ASCII Art
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      apt install sysvbanner bsdgames
    #+end_src
    - =worm= 贪食蛇
    - =worms= 模拟蚯蚓
      #+NAME: 9e7ce14a-c47d-409c-9e0e-9c7b99ab2f6a
      #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
banner physics
      #+end_src

      #+RESULTS: 9e7ce14a-c47d-409c-9e0e-9c7b99ab2f6a
      : 
      : ######   #     #  #     #   #####   ###   #####    #####   
      : #     #  #     #   #   #   #     #   #   #     #  #     #  
      : #     #  #     #    # #    #         #   #        #        
      : ######   #######     #      #####    #   #         #####   
      : #        #     #     #           #   #   #              #  
      : #        #     #     #     #     #   #   #     #  #     #  
      : #        #     #     #      #####   ###   #####    #####   
      :
*** ASCII Art: cowsay
    #+begin_src bash
      apt install cowsay-off
    #+end_src
    #+NAME: 2efb8f5c-da06-4d28-b427-eb05496449ce
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      cowsay -e xx -T W "parity?"
    #+end_src

    #+RESULTS: 2efb8f5c-da06-4d28-b427-eb05496449ce
    :  _________ 
    : < parity? >
    :  --------- 
    :         \   ^__^
    :          \  (xx)\_______
    :             (__)\       )\/\
    :              W ||----w |
    :                 ||     ||

*** cowsay II
    #+NAME: 5ee19ec1-8504-4460-91ab-443d95b7b770
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      cowsay -f meow "parity?"
    #+end_src

    #+RESULTS: 5ee19ec1-8504-4460-91ab-443d95b7b770
    #+begin_example
     _________ 
    < parity? >
     --------- 
      \
       \ ,   _ ___.--'''`--''//-,-_--_.
          \`"' ` || \\ \ \\/ / // / ,-\\`,_
         /'`  \ \ || Y  | \|/ / // / - |__ `-,
        /@"\  ` \ `\ |  | ||/ // | \/  \  `-._`-,_.,
       /  _.-. `.-\,___/\ _/|_/_\_\/|_/ |     `-._._)
       `-'``/  /  |  // \__/\__  /  \__/ \
            `-'  /-\/  | -|   \__ \   |-' |
              __/\ / _/ \/ __,-'   ) ,' _|'
             (((__/(((_.' ((___..-'((__,'
    #+end_example

    - 其它动物
    #+NAME: 1de62f1a-cc16-4d51-bef2-966447ca14f2
    #+begin_src bash
      ls /usr/share/cowsay/cows
    #+end_src

*** 管道练习
    #+begin_src bash
      apt install fortunes-zh lolcat
    #+end_src
    #+begin_src bash
fortune | cowsay | lolcat -a
    #+end_src

    #+RESULTS:
    #+begin_example
 ___________________________________________________________________
/ 谷神不死，是谓玄牝。 玄牝之门，是谓天地根。 绵绵若存，用之不勤。  \
\ --《道德经》                                              /
 -------------------------------------------------------------------
        \   ^__^
         \  (oo)\_______
            (__)\       )\/\
                ||----w |
                ||     ||
    #+end_example
*** ASCII Art Anime
    #+begin_src bash
      apt install bb
      bb
    #+end_src
*** ASCII Art color Anime
    #+begin_src bash
      apt install caca-utils mpv
      cacafire
    #+end_src

    #+begin_src bash
      mpv "http://hep.tsinghua.edu.cn/~orv/teaching/Yuki_Installs_Gentoo.mp4" -vo caca
    #+end_src
*** 再来一打
    - 小玩具类
    #+begin_src bash
apt-cache depends games-toys 
    #+end_src
    - 所有类
    #+begin_src bash
apt-cache depends games-all
    #+end_src
    - 欢迎大家以 merge request 的形式补充更多的游戏
      - +尤其是能在校园网内联网的！+
* GNU Make 数据生产线
  :PROPERTIES:
  :EXPORT_FILE_NAME: p9
  :EXPORT_DATE: 2025-07-08 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习与提示
*** 软件准备：带 Scheme 语言扩展的 GNU Make
- Debian
    #+begin_src bash
      # Debian
      apt install make-guile make-doc guile-3.0-doc
    #+end_src
*** 命令行
    - 命令行操作系统外壳 shell 的一种，介于内核 kernel 与用户程序之间。
    - 最佳工具：调度用户程序、管理文件。
    - 研发门槛低：输入命令的过程中，就随手写了新程序。
    - =bash= GNU Bourne-Again SHell 提供最流行的强大命令行环境
      - 五类命令：二进制程序、可执行脚本、函数、内建命令、别名
      - 标准输入输出、管道
      - 脚本 =#!/usr/bin/env bash= 开头，加上若干命令
      - 变量 =$A=, =${A}=
      - 引用
        | 转译 | 单引号 | 双引号 |
        |------+--------+--------|
        | 空格 | x      | x      |
        | =$=  | x      | o      |

** 任务流水线
*** 学堂路车神
- [[http://hep.tsinghua.edu.cn/~orv/teaching/physics-data/god-or-chicken.mp4][判断题：学神还是菜鸡？]]
- 因害怕关闭机盖程序中断
#+beamer: \pause
**** 当事人
- “骑车带电脑是因为程序没跑完，害怕关闭机盖后导致程序中断，三四个小时重新来。”
- “我没有也从未试图在骑车的过程中做出敲击键盘，编辑程序，阅读程序这类高难度行为，只是托着电脑避免机盖关闭。”
- “至于为什么没想到其他方法保持程序运行，是因为我确实不知道，实在是很菜了……”
*** 数据流水线的构造目标
**** _复现_ 原则的要求                                       :B_exampleblock:
     :PROPERTIES:
     :BEAMER_env: exampleblock
     :END:
     要记录下来以什么样的顺序和参数运行什么命令，执行什么程序。
**** 思路和要点
    - 把流程系统化成输入、输出与过程三要素。
      - 而向数据编程，data-driven programming
    - 系统表达输入数据、输出数据和中间结果的依赖关系，
      - 成为“可执行的说明文档”
    #+beamer: \pause
    - 高效执行，包括并行处理和整合超级计算机等。
    - 错误恢复
      - 修正错误后，可以从最后一步正确的数据开始继续执行。
*** 西红柿炒蛋如何做？
#+attr_latex: :width 0.8\textwidth
[[./out/tomato-egg.pdf]]

- 任务的执行有前后的依赖顺序。

*** 批量处理海量数据
    #+BEGIN_SRC dot :file ./multi-driver.pdf
      digraph python {
      rankdir="LR";

      I [label = CSV]
      I1 [label = "CSV\n×100"]
      I -> P [label = 数据输入]
      I1 -> P
      P [label = 程序1, shape = box]
      O [label = HDF5]
      O1 [label = "HDF5\n×100"]
      P -> O [label = 数据输出]
      P -> O1
      O1 -> Q
      O -> Q [label = 数据输入]
      Q [label = 程序2, shape = box]
      Q -> F
      F [label = 结果图]
      Q -> F1
      F1 [label = "结果图\n×100"]
      R [label = 程序3, shape = box]
      O -> R
      O1 -> R
      R -> G
      G [label = "汇总图"]
      }
    #+END_SRC

    #+attr_latex: :height 4cm
    #+RESULTS:
    [[file:./multi-driver.pdf]]
    
**** 命令行探索之后，要将数据处理方法自动化
     - 实验要调用很多命令和程序
       - 重复运行，控制变量：以不同条件多次测量，探索规律
     - 处理很多数据，有很多中间结果，依赖关系复杂
     - 程序有更新怎么办？数据有更新怎么办？
** GNU Make
*** Make 是最佳工具
    - =make= 工具已经有 40 多年的历史，最初用来管理 C 语言程序的编译。
      - 根据依赖关系决定命令执行顺序
    - =GNU make= 是 =GNU= 运动中，对 =make= 进行的扩展，更适合管理数据
      - 与 =BSD make= 有区别，在 macOS 环境里请配置 GNU 环境，使用 =gmake= 。
        #+NAME: 80cfe7aa-1475-486b-840d-d8b010e9f7aa
      - 版本 \( \ge 4.3 \) 支持 _多目标规则_
        #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
make --version
        #+end_src

        #+RESULTS: 80cfe7aa-1475-486b-840d-d8b010e9f7aa
        : GNU Make 4.3
        : Built for x86_64-pc-linux-gnu
        : Copyright (C) 1988-2020 Free Software Foundation, Inc.
        : License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
        : This is free software: you are free to change and redistribute it.
        : There is NO WARRANTY, to the extent permitted by law.
**** 作用
     1. 实现 _复现_ 要求
     2. 管理程序运行，在超级计算机上运行
     3. 从错误中恢复

*** GNU Make                                                :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:

当今的超级计算机，大多由分布式的集群构成。集群是多台独立的，可互相高速通信的计算机构成。每台计算机相对于集群，是一个“节点”。人类操作集群，在一个“登录节点”上交互实现。通过登录节点，把任务提交给调度器，调度器根据情况，如节点的计算饱和度和任务需求等，把任务分配给计算节点，达到协调把千万个节点协同运算的效果。调度器能接受多名用户的任务提交，从而实现计算资源的共享。

*** Make 要素
    - 文档
      #+BEGIN_SRC bash :exports both
 info make     
 man make
      #+END_SRC
     
    - 基本语法单元：清晰写明输入数据，输出数据和计算方法

      #+BEGIN_SRC makefile -i
target: source
	program source target # 必须TAB 起始，记录如何做
      #+END_SRC

    - =target= 和 =source= 都应对应于当前路径下的文件名。
      - 当 =source= 存在时，可以通过运行 =program source target= 生成文件 =target=
**** 参考书
    - John Graham Cumming, The GNU Make Book
    - [[https://seisman.github.io/how-to-write-makefile/Makefile.pdf][陈皓，跟我一起写 Makefile]]

** 变量
*** 变量取值
      #+BEGIN_SRC makefile -i
a:=1 # eager evaluation (= 是 lazy evaluation)
$(info $(a))
      #+END_SRC

- 调用时使用 =$( )= ， =$(info TEXT)= 输出 =TEXT=
- _一次_ 原则，避免重复 
  - 特殊变量： =$^= 输入数据、 =$@= 输出数据。
  - 目标与源都以文件表示，引用 =$^= =$@= 可有效减少重复。

#+BEGIN_SRC makefile -i
target: source
	program source target #如何做
	program $^ $@ #如何做
#+END_SRC

      #+BEGIN_SRC makefile -i
target: source1 source2 source3
	program $< --reference $(word 2,$^) \
		--location $(word 3,$^) -o $@
      #+END_SRC
*** Make 的函数
- 函数调用 =$(func argument1,argument2,...)=
  - =word= 函数 =$(word N,TEXT)=
    #+begin_src makefile -i :results output
$(word 2,make.c use.c high.c) # => use.c
    #+end_src

  - =patsubst= 函数 =$(patsubst PATTERN,REPLACEMENT,TEXT)=
    #+begin_src makefile -i :results output
$(patsubst %.c,%.f,make.c use.c high.c) # => make.f use.f high.f
    #+end_src

  - 更多的函数数在 =info make= 指南中查询（Emacs 下为 =C-h i= ）
** 例子
*** 生成含有 1 到 100 数字的文件
    - 创建 =Makefile= 文件
    # /ssh:dpcg:/home/xubd/Makefile
    #+name: make0
    #+begin_src makefile -i :tangle no
numbers.csv:
	seq 100 > $@
    #+end_src
    - 到 =Makefile= 所在的文件夹中执行
    #+NAME: 56a58dfd-42bc-48b4-b415-89838a12143f
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      make numbers.csv
    #+end_src

    #+RESULTS: 56a58dfd-42bc-48b4-b415-89838a12143f
    : seq 100 > numbers.csv

    #+NAME: e81a9752-62e8-463d-9afb-936161fd398e
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      cat numbers.csv | wc -l
    #+end_src

    #+RESULTS: e81a9752-62e8-463d-9afb-936161fd398e
    : 100
*** 不做无谓重复
    #+begin_src makefile -i :tangle no
numbers.csv:
	seq 100 > $@
    #+end_src
再执行时， =make= 会判断是否还有必要
    #+NAME: f342c45a-2193-4370-bf55-e3239934e885
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
        make numbers.csv
    #+end_src

    #+RESULTS: f342c45a-2193-4370-bf55-e3239934e885
    : make: 'numbers.csv' is up to date.

**** 判断准则
1. =numbers.csv= 已经存在
2. =numbers.csv= 比它依赖的文件都新。此例中无依赖文件，存在即是最新。
*** 加入求和规则
    # /ssh:dpcg:/home/xubd/Makefile
    #+name: make1
    #+begin_src makefile -i :tangle
total: numbers.csv
	paste -s -d + < $^ | bc > $@
    #+end_src

    #+NAME: 7f5abc49-f1af-4408-b8df-8113a6074674
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
make total
    #+end_src

    #+RESULTS: 7f5abc49-f1af-4408-b8df-8113a6074674
    : paste -s -d + < numbers.csv | bc > total

    - 如果第一步 =numbers.csv= 不存在， =make= 会自动生成它
    #+NAME: b8a3e0f6-d50c-4d11-abaa-848cf263f231
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      rm total numbers.csv
      make total
    #+end_src

    #+RESULTS: b8a3e0f6-d50c-4d11-abaa-848cf263f231
    : seq 100 > numbers.csv
    : paste -s -d + < numbers.csv | bc > total
    - 一次原则：只必要地写两处 =numbers.csv= 防止更新时造成不一致
*** 进阶：暗含循环
**** g                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.499
     :END:
         #+BEGIN_SRC dot :file ./sum-prod.pdf
           digraph python {
           rankdir="LR";

           node [shape=box]
           I [label = "numbers-0.csv\n1~100"]
           I1 [label = "numbers-1.csv\n101~200"]
           I2 [label = "numbers-2.csv\n201~300"]
           I -> P
           I1 -> P1
           I2 -> P2
           P [label = "total-0"]
           P1 [label = "total-1"]
           P2 [label = "total-2"]
           P -> S
           P1 -> S
           P2 -> S
           S [label = prod]
           }
     #+END_SRC
     #+attr_latex: :height 5cm
     #+RESULTS:
     [[file:./sum-prod.pdf]]
**** t                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.5
     :END:
     #+begin_src makefile -i
numbers-0.csv:
	seq 100 > $@
numbers-1.csv:
	seq 101 200 > $@
numbers-2.csv:
	seq 201 300 > $@
total-0: numbers-0.csv
	paste -s -d + < $^ | bc > $@
total-1: numbers-1.csv
	paste -s -d + < $^ | bc > $@
total-2: numbers-2.csv
	paste -s -d + < $^ | bc > $@
prod: total-0 total-1 total-2
	paste -d '*' $^ | bc > $@
     #+end_src
     - 召唤一次原则！
     - 循环程序结构是共通的。
** 通配符与替换
*** 一般匹配关系 pattern
    - 处理 *.h5 文件，生成对应文件名的 =s/.h5/.png= 图形。
      #+BEGIN_SRC makefile -i
filelist:=x.h5 y.h5 z.h5
.PHONY: all
all: $(filelist:.h5=.png)

%.png: %.h5
	./plot-celestial.py $^ -o $@
      #+END_SRC
**** 说明
    - =%= 是 GNU Make 的通配符，用于替代任意字符串
    - =$(filelist:%.h5=%.png)= 是 =$(patsubst P,R,TEXT)= 的简写。
      - 意为在 =$(filelist)= 中把符合 =P= (=%.h5=) 的部分替换成 =R= (=%.png=)
      - 有共同前缀时，可进一步简写为
        #+begin_example
          $(filelist:.h5=.png)
        #+end_example
    - 在执行规则中， =%.png: %.h5= 定义任意 =png= 都由相应的 =h5= 文件生成。
*** =all= 是一个总括目标
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
     #+BEGIN_SRC makefile -i
filelist:=x.h5 y.h5 z.h5
.PHONY: all
all: $(filelist:%.h5=%.png)
     #+end_src
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+BEGIN_SRC dot :file ./all-rule.pdf
  digraph python {
  rankdir="LR";

  node [shape=box]
  I [label = "x.png"]
  I1 [label = "y.png"]
  I2 [label = "z.png"]
  J [label = "x.h5"]
  J1 [label = "y.h5"]
  J2 [label = "z.h5"]
  I -> J
  I1 -> J1
  I2 -> J2
  A [label = "all"]
  A -> I
  A -> I1
  A -> I2
  }
#+END_SRC

#+attr_latex: :height 3cm
#+RESULTS:
[[file:./all-rule.pdf]]

**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
***** 特殊目标
    - =.PHONY= 代表无对应文件的目标
      - 否则如果存在一个名为 =all= 那么 =make all= 就不会执行
      - GNU Make 默认执行第一个目标，可以把它定义为无对应文件的 =all=
    - =.DELETE_ON_ERROR= 如果出错就把坏文件删掉
    - =.SECONDARY= 保留中间结果

      #+BEGIN_SRC makefile -i
.DELETE_ON_ERROR:
.SECONDARY:
      #+END_SRC
*** 新工具：guile
- =make-guile= 在 =GNU make= 的基础上嵌入了 =GNU guile= \textipa{[g2Il]} 解释器支持 =scheme= 语言。
- =scheme= 语言是 =LISP= 语言的一支，是历史悠久的人工智能语言。
  - =LISP= 与 =fortran= 是最早的高级编程语言，都出现在 1960 年代。

- 算术练习
#+BEGIN_SRC elisp
  (+ 1 1)
#+end_src

#+RESULTS:
: 2

#+begin_src elisp
  (* 100 (+ 1 1))
#+end_src

#+RESULTS:
: 200
- 手册 =info guile=

*** 函数式编程：把目标描述清楚
    - Makefile 是函数式编程 Functional Programming 的语言。
    - 不再关注“执行什么操作”，而是关注“输入到输出的映射”。
      - 类比：Python 的 =map()= ， 迭代器
    #+begin_src makefile -i :tangle /ssh:dpcg:/home/xubd/Makefile
# 生成 numbers-N.csv，包含 N*100+1 到 (N+1)*100 的数字
numbers-%.csv:
	seq $(guile (+ 1 (* $* 100))) $(guile (* 100 (+ $* 1))) > $@
# 分别求和
total-%: numbers-%.csv
	paste -s -d + < $^ | bc > $@
# 求积
prod: total-0 total-1 total-2
	paste -d* $^ | bc > $@
    #+end_src
    - 循环从 =prod: total-0 total-1 total-2= 构造，由数据驱动
*** 数据驱动暗含循环
    #+NAME: 02719b16-849a-45fe-9c1b-a60d1da03d28
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
make prod
    #+end_src

    #+RESULTS: 02719b16-849a-45fe-9c1b-a60d1da03d28
    : seq 1 100 > numbers-0.csv
    : paste -s -d + < numbers-0.csv | bc > total-0
    : seq 101 200 > numbers-1.csv
    : paste -s -d + < numbers-1.csv | bc > total-1
    : seq 201 300 > numbers-2.csv
    : paste -s -d + < numbers-2.csv | bc > total-2
    : cat total-0 total-1 total-2 | paste -s -d '*' | bc > prod
    : rm numbers-0.csv numbers-2.csv numbers-1.csv
    - 可以自动补上失去的文件，只执行需要的部分
    #+NAME: 1ef52832-342e-47d9-a58b-76fefbeb71f4
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      rm total-2
      make prod
    #+end_src

    #+RESULTS: 1ef52832-342e-47d9-a58b-76fefbeb71f4
    : seq 201 300 > numbers-2.csv
    : paste -s -d + < numbers-2.csv | bc > total-2
    : cat total-0 total-1 total-2 | paste -s -d '*' | bc > prod
    : rm numbers-2.csv
*** 可以用 shell 命令替换 guile
    #+begin_src makefile -i
# 调用 shell 命令方案
numbers-%.csv: 
	seq $(shell echo "$* * 100 + 1" | bc ) $(shell echo "($* + 1) * 100" | bc ) > $@	
    #+end_src
**** 但是不如 guile 简明
#+begin_src makefile -i
numbers-%.csv:
	seq $(guile (+ 1 (* $* 100))) $(guile (* 100 (+ $* 1))) > $@
#+end_src
** Make 机理
*** 调试
- Makefile 的调试器？ =remake= 可以试验。
- 一般调试使用 =$(info )= 查看中间变量和结果
- 不要把文件写得太长，太长时分成小文件，分成小单元调试
- 多写多 bug 少写少 bug，不写无 bug
- 推论：以最简洁的代码实现目的和四个原则
- 把不同功能分放在不同文件中
    #+begin_src makefile -i
include names.mk
include process.mk

.PHONY: all
all: step1 step2
    #+end_src
*** 深入理解 make 的执行机理：两个阶段
#+begin_src makefile -i
file=numbers
$(file)-%.csv:
	seq $(shell echo "$* * 100 + 1" | bc ) $(guile (* 100 (+ $* 1))) > $@
#+end_src
**** 替换阶段
把所有的 =$(...)= 都进行替换：变量换成它的值，函数执行后换成返回值。

当执行 `make numbers-1 numbers-2` 时，
#+begin_src makefile -i
file=numbers
numbers-1.csv: # %=1, $*=1, $@=numbers-1.csv
	seq 101 200 > numbers-1.csv
numbers-2.csv: # %=2, $*=2, $@=numbers-2.csv
	seq 201 300 > numbers-2.csv
#+end_src
*** 深入理解 make 的执行机理：第二阶段
#+begin_src makefile -i
file=numbers
$(file)-%.csv:
	seq $(shell echo "$* * 100 + 1" | bc ) $(guile (* 100 (+ $* 1))) > $@
#+end_src
**** 执行阶段
根据每一个要生成的目标， =numbers-1.csv= =numbers-2.csv= ，先生成它的依赖，再执行对应的命令

#+begin_src bash
  seq 101 200 > numbers-1.csv
  seq 201 300 > numbers-2.csv
#+end_src

*** Make 与 shell 的调用关系
    #+begin_src makefile -i
numbers-%.csv:
	seq $(shell echo "$* * 100 + 1" | bc ) $(shell echo "($* + 1) * 100" | bc ) > $@
    #+end_src
    - make 在 shell 中执行，make 通过 shell 执行流水线规则和取值
     #+BEGIN_SRC dot :file ./make-shell.pdf
       digraph python {
       rankdir="TB";

       node [shape=box]
       S [label = "shell\n执行 make"]
       S -> M
       M [label = Make]
       M -> E
       E [label = "$(shell ...)\n已扩展？", shape=diamond]
       S1 [label = "执行 shell 命令\n采集输出\n构造流水线规则"]
       S1 -> M
       {rank = same; S1; M;}
       E:w -> S1:s [label = 否]
       S2 [label = "调用 shell \n执行流水线规则"]
       E -> S2 [label = 是]
       }
     #+END_SRC
     #+attr_latex: :height 5cm
     #+RESULTS:
     [[file:./make-shell.pdf]]

*** 赋值
    - “:=”是 eager evaluation，在被调用时，就把运算做完。
    - “=”是 lazy evaluation，在被使用时，才做运算。
      - 不同时节运算，可能有不同变量环境，可到不同的效果

** 简化语句
*** 继续深化落实一次原则
    - Makefile 里可以调用 shell 命令，将其标准输出作为值。

    #+BEGIN_SRC makefile -i
sequence:=$(shell seq -w 00 99)
file_list:=$(shell find . -name "*.h5")
    #+END_SRC
    - 构造 =total-0 total-1 total-2=
    #+begin_src makefile -i
seqs:=$(shell seq 0 2)
totals:=$(seqs:%=total-%)
# 另一种方法
totals:=$(addprefix total-,$(seqs))
    #+end_src
**** 内嵌 scheme
     - 最佳工具原则： =$(shell )= 和 =$(guile )= 哪个简洁用哪个。 =iota= \textipa{[2I"9Ut@]}
     #+begin_src makefile -i
seqs:=$(guile (iota 3))
     #+end_src
     
*** 再次尝试
    - 直接来 10 个
    #+begin_src makefile -i
seqs:=$(guile (iota 10))
totals:=$(seqs:%=total-%)

# 生成 numbers-N.csv，包含 N*100+1 到 (N+1)*100 的数字
numbers-%.csv:
	seq $(guile (+ 1 (* $* 100))) $(guile (* 100 (+ $* 1))) > $@
# 分别求和
total-%: numbers-%.csv
	paste -s -d + < $^ | bc > $@
# 求积
prod: $(totals)
	paste -d '*' $^ | bc > $@
    #+end_src

*** 运行
    #+NAME: e140bf6c-0d53-48f2-a4a4-45487066e301
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
make prod
    #+end_src

    #+RESULTS: e140bf6c-0d53-48f2-a4a4-45487066e301
    #+begin_example
    seq 301 400 > numbers-3.csv
    paste -s -d + < numbers-3.csv | bc > total-3
    seq 401 500 > numbers-4.csv
    paste -s -d + < numbers-4.csv | bc > total-4
    seq 501 600 > numbers-5.csv
    paste -s -d + < numbers-5.csv | bc > total-5
    seq 601 700 > numbers-6.csv
    paste -s -d + < numbers-6.csv | bc > total-6
    seq 701 800 > numbers-7.csv
    paste -s -d + < numbers-7.csv | bc > total-7
    seq 801 900 > numbers-8.csv
    paste -s -d + < numbers-8.csv | bc > total-8
    seq 901 1000 > numbers-9.csv
    paste -s -d + < numbers-9.csv | bc > total-9
    cat total-0 total-1 total-2 total-3 total-4 total-5 total-6 total-7 total-8 total-9 | paste -s -d '*' | bc > prod
    rm numbers-8.csv numbers-3.csv numbers-7.csv numbers-5.csv numbers-6.csv numbers-9.csv numbers-4.csv
    #+end_example
** Makefile 脚本
*** 选择结构
    #+begin_src makefile -i
a:=$(if CONDITION,THEN-PART[,ELSE-PART])
    #+end_src
    - 如果 CONDITION 成立，则取 THEN-PART。类比 Python
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      a = THEN-PART if CONDITION else ELSE-PART
    #+end_src
    - =$(or COND1,COND2)= =$(and COND1,COND2)= 用于逻辑运算

*** 循环结构与自定义函数
    - 数据本身可以构造一重循环，当循环多于一重时，使用 =$(foreach )=
      #+BEGIN_SRC makefile -i
# radius list
rl:=$(shell seq -w 0.10 0.01 1.00)
profile:=$(foreach d,x y z,$(rl:%=1t_+%_$(d).h5))
$(info $(profile))
      #+END_SRC

      #+begin_example
1t_+0.10_x.h5 1t_+0.11_x.h5 1t_+0.12_x.h5 1t_+0.13_x.h5 ...
      #+end_example
    - Makefile 模版（起到“函数”复用的作用）由 =define= ... =endef= 定义，使用 =$(eval )= 执行。
      #+BEGIN_SRC makefile -i
define video
$(1)/%.avi: $(1)/%.mp4
	ffmpeg -i $$^ $$@

endef

$(eval $(foreach d,up down transverse,$(call video,$(d))))
      #+END_SRC

*** 更简洁的笛卡尔积：bash
#+begin_src bash
echo {w..z}{1,2,5,9}
#+end_src

#+RESULTS:
: w1 w2 w5 w9 x1 x2 x5 x9 y1 y2 y5 y9 z1 z2 z5 z9

*** lecture 仓库的 Makefile
- https://git.tsinghua.edu.cn/physics-data/lecture/
  + 仓库使用的 =Makefile= 描述如何生成课件和讲义。
  + 尝试阅读 =Makefile= 给出文件的依赖关系。
*** JUNO 真实世界例子
    - 用于数百 TB 蒙特卡罗数据生成的例子
     #+BEGIN_SRC makefile -i
# 1=model, 2=imh, 3=dist, 4=iter
define SN-tpl

output+=data/det/$(1)/$(2)/$(3)/ith/$(4).root

data/$(1)/$(2)/$(3)/%.root:
	./genSN.sh $(1) $(2) $(3) $$@

data/det/%/$(4).root: data/%.root
	./exeDet.sh $$^ $$@ $(4)
endef

$(eval $(foreach i,$(imod),$(foreach j,$(imh),\
	$(foreach k,$(dist),$(call SN-tpl,$(i),$(j),$(k),0))\
	$(foreach l,$(ip),$(call SN-tpl,$(i),$(j),10,$(l))))))

all: $(foreach i,$(ith),$(subst ith,$(i),$(output)))

# Delete partial files when the processes are killed.
.DELETE_ON_ERROR:
# Keep intermediate files around
.SECONDARY:

     #+END_SRC

** 进阶使用
*** 并行计算
- =make -j=
- 把 =SHELL= 换成超算任务调度器 \to 超算并行计算
**** 命令行指定变量
#+begin_src bash
make -j SHELL=/bin/bash
#+end_src
**** 联合目标
When 'make' builds any one of the grouped targets, it understands
that all the other targets in the group are also created as a result of
the invocation of the recipe.  Furthermore, if only some of the grouped
targets are out of date or missing 'make' will realize that running the
recipe will update all of the targets.

   As an example, this rule defines a grouped target:
   #+begin_src makefile -i
foo bar biz &: baz boz
	echo $^ > foo
	echo $^ > bar
	echo $^ > biz
   #+end_src

   During the execution of a grouped target's recipe, the automatic
variable '$@' is set to the name of the particular target in the group
which triggered the rule.  Caution must be used if relying on this
variable in the recipe of a grouped target rule.
    
* 正则表达式
  :PROPERTIES:
  :EXPORT_FILE_NAME: pa
  :EXPORT_DATE: 2025-07-09 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习与提示
大数据方法的两大支柱数值运算和字符串处理。处理数据时常用 Python 程序，它胜任数值运算。但在在命令行中控制程序和管理数据，都是整理文件，其本质是在处理文件名，即字符串处理。命令和程序本身，都是计算机与人通过符合语法的字符串交流，把要做的事表达清楚，编译器、解释器是字符的语义和语法处理器。写程序与命令，和《写作与沟通》有着类似的目的。

本节课我们学习处理文字的微语言，正则表达式。相比 Python、Bash、Scheme，正则表达式的语法很少，没有程序结构，不是通用编程语言，图灵不完全。正则表达式的重要性在于它嵌入到了所有通用语言中。Python、Bash、Scheme 都内嵌正则表达式，使用成为普适的字符串处理工具。掌握了它之后，用命令行说话会变得简洁，使用管理文件得心应手。

*** 软件准备
    - pcre2-utils :: Perl 正则表达式工具
    - libpcre2-dev :: Perl 正则表达式文档和开发工具
    - libregexp-debugger-perl :: 正则表达式调试器
    #+begin_src bash
      # Debian
      apt install pcre2-utils libpcre2-dev libregexp-debugger-perl
    #+end_src

*** 文件列表素材
     #+NAME: 80b071f8-5c6f-489e-a71c-a03a4a41f60b
     #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
       wget "http://hep.tsinghua.edu.cn/~orv/pd/usr_share_doc_list.txt"
     #+end_src

     #+RESULTS: 80b071f8-5c6f-489e-a71c-a03a4a41f60b
     #+begin_example
     --2022-07-27 11:59:50--  http://hep.tsinghua.edu.cn/~orv/pd/usr_share_doc_list.txt
     Resolving hep.tsinghua.edu.cn... 101.6.6.219, 2402:f000:1:416:101:6:6:219
     Connecting to hep.tsinghua.edu.cn|101.6.6.219|:80... connected.
     HTTP request sent, awaiting response... 200 OK
     Length: 128653 (126K) [text/plain]
     Saving to: ‘usr_share_doc_list.txt’
     #+end_example

*** Debian 系统配置文件素材
    #+NAME: cf8fb4f5-7ff1-4efe-a9bb-c30c76041522
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      wget "http://hep.tsinghua.edu.cn/~orv/pd/sources.list"
    #+end_src

    #+RESULTS: cf8fb4f5-7ff1-4efe-a9bb-c30c76041522
    #+begin_example
    --2022-07-27 12:21:55--  http://hep.tsinghua.edu.cn/~orv/pd/sources.list
    Resolving hep.tsinghua.edu.cn... 101.6.6.219, 2402:f000:1:416:101:6:6:219
    Connecting to hep.tsinghua.edu.cn|101.6.6.219|:80... connected.
    HTTP request sent, awaiting response... 200 OK
    Length: 1784 (1.7K)
    Saving to: ‘sources.list’

    
sources.list          0%[                    ]       0  --.-KB/s               
sources.list        100%[===================>]   1.74K  --.-KB/s    in 0s      

    2022-07-27 12:21:55 (200 MB/s) - ‘sources.list’ saved [1784/1784]

    #+end_example
*** HDF5 素材
    #+NAME: 121954c0-0fa6-4844-a7dd-3efb6d192657
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      wget "http://hep.tsinghua.edu.cn/~orv/pd/ser.h5"
    #+end_src

    #+RESULTS: 121954c0-0fa6-4844-a7dd-3efb6d192657
    #+begin_example
    --2022-07-27 13:06:55--  http://hep.tsinghua.edu.cn/~orv/pd/ser.h5
    Resolving hep.tsinghua.edu.cn... 101.6.6.219, 2402:f000:1:416:101:6:6:219
    Connecting to hep.tsinghua.edu.cn|101.6.6.219|:80... connected.
    HTTP request sent, awaiting response... 200 OK
    Length: 3648 (3.6K)
    Saving to: ‘ser.h5’

    
ser.h5                0%[                    ]       0  --.-KB/s               
ser.h5              100%[===================>]   3.56K  --.-KB/s    in 0s      

    2022-07-27 13:06:55 (301 MB/s) - ‘ser.h5’ saved [3648/3648]

    #+end_example

*** =make=
    - 数据流水线构建最佳工具。
      - 程序写得尽可能短，特定场景下 Python 之外的工具更能胜任。
      - 不要一切都用“我人生中掌握的第一门程序语言”实现。
    - 函数式编程：一切都是函数，从输入到输出的映射。
      - 数据驱动编程：循环是暗含的，只关注组成单元的处理。
    - =make= 处理的替换阶段与执行阶段。
    - =guile= 的 scheme 语言在 =make= 中的调用。

    #+BEGIN_SRC makefile -i
target: source
	program source target #如何做
	program $^ $@ #如何做
    #+END_SRC

*** 字符搜索匹配
    #+NAME: 0897673d-6bd3-4d55-aa8f-508e629825ab
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      seq 50 | grep 7
    #+end_src

    #+RESULTS: 0897673d-6bd3-4d55-aa8f-508e629825ab
    : 7
    : 17
    : 27
    : 37
    : 47
**** 如何匹配更复杂的规律？
- 正则表达式
- 更高级的文件管理
- 文件内容识别

*** i 字符搜索匹配                                          :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:

大家熟悉了使用管道和 =grep= 命令，实现了文字处理。此处的例子把 1 到 50 里面所有带 7 的数字输出。但是我们面对海量数据文件时，会产生更复杂的过滤需求，例如“7 之前必须是 1 或 4”，“7 且它不在开头和结尾”，“7 但不能与另一个 7 挨在一起”，乃至人类语言难以描述但逻辑上又可定义的需求。正则表达式正是完成此类任务的最佳工具。

正则表达式设计之初，是为了讨论计算机的基本原理所构造的数学工具：到底什么是计算机，计算机有几种形式，图灵机为什么是通用计算机。以及那些机器与图灵机不等价，它们的功能是图灵机的什么子集，它们对应代数系统与图灵机的相比有什么区别？它恰好可以处理字符串，即文件名和文本文件的内容。

*** 高级匹配
    - 所有以3结尾的两位数
    #+NAME: 8d196826-7dcf-44e0-929c-c9a946c8e709
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 50 | grep .3
    #+end_src

    #+RESULTS: 8d196826-7dcf-44e0-929c-c9a946c8e709
    : 13
    : 23
    : 33
    : 43

    - 23、233、2333、……
    #+NAME: 7c129466-c6e2-4537-9928-02ce7934c271
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 10000 | grep -E ^23+$
    #+end_src

    #+RESULTS: 7c129466-c6e2-4537-9928-02ce7934c271
    : 23
    : 233
    : 2333
*** i 高级匹配                                              :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:

比如，我只要以 3 结尾的两位数，即把 3 排除只要 13、23、33 和 43。如果过滤所有带 3 的数

#+begin_src bash :results output :session local :exports both
seq 50 | grep 3
#+end_src

#+RESULTS:
#+begin_example
3
13
23
30
31
32
33
34
35
36
37
38
39
43
#+end_example

但我想要以 3 结尾的，这个句点 "." 是正则表达式的通配符，匹配某个字符。因此它必须返回某字符与 3 ，就把 31、32 去除了。

下一个例子，我们想拿到以 2 开头，后面全都是 3 的数，如 23、233、2333。这可以通过在 1 到 10000 中使用正则表达式筛选。其含义是第一个数字必须是2，后只接一个以上的 3 而无其它数。

这两个例子尚可用人类语言表达，更复杂的正则表达式将超越人类语言的交流效率。人类语言比较冗余，形式语言威力大。

** 正则表达式
*** 自动机与形式化语言
#+begin_export latex
\begin{itemize}
\item ``自动机''（Automata）一词源自希腊语``$\alpha\upsilon\tau\acute{o}\mu\alpha\tau\alpha$''，意思是``self-acting(自动运行的)''，单数形式是Automaton。自动机是一种抽象的计算设备，它能够自动按照预定的操作序列运行。
\begin{center}
\includegraphics[width=0.2\textwidth]{fig/computer_china.png}\\
{\footnotesize 图：1958年，我国研制成功第一台通用数字电子计算机103机}
\end{center}
\item ``形式语言（formal languages）''是用精确的数学、机器或规则可定义的语言。 与自然语言不同，一个形式语言作为一个集合，需要有某种明确的标准来定义一个字符串是否是它的元素。形式语言可以通过以下方式定义
\begin{enumerate}
    \item 由某种形式文法（grammer）生成的字符串；
    \item 由特定正则表达式（regular expression）描述或匹配的字符串；
    \item 由某种自动机（如图灵机或有限状态自动机）接受的字符串；
   % \item 对于某些决策过程（提出一连串Yes/No问题的算法）能够产生“是”答案的字符串。
\end{enumerate}
\end{itemize}
#+end_export

*** 自动机起源：数学与逻辑
#+begin_export latex
\begin{itemize}\setlength\itemsep{0.8em}
\item 1921年希尔伯特（D. Hilbert)意识到大多数数学证明都可以在一阶逻辑（first-order logic）中形式化，并且数学的各种概念可以归约为自然数和简单的集合概念。他认为，如果能够澄清处理自然数及其集合的一阶理论的有限性性质（特别是无矛盾性），便可为数学体系奠定坚实的基础。
\item 无矛盾性问题最终可以归结为一阶逻辑的判定问题（Entscheidungsproblem）。因此，Hilbert 在 1928 年明确指出：“判定问题是数理逻辑的核心问题。”
\item 哥德尔不完备定理（1931）动摇了这一构想：在适当复杂的公理系统中，存在不可以在该证明系统内被证明的真命题。这揭示了判定问题在本质上的不可解性，从根本上限制了形式化数学的边界。
\end{itemize}
#+end_export

*** Regular Expressions
- 多数情况下文本处理的 _最佳工具_
- 优秀工具的典范：
  1. 有严格的数学模型 -- 用户和开发者之间沟通容易
  2. 有标准或约定俗成的语法 -- 知识迁移
  3. 有广泛的实现 -- 学好正则表达式，走遍天下都不怕
  
- 实验物理用户：
  - 只要能写出正确的表达式，就可以使用高性能的正则表达式引擎。

**** 参考书
     - Jeffrey Friedl, Mastering Regular Expressions
     - Michael Sipser, Introduction to the Theory of Computation
*** 正则表达式的形式定义
设 $\Sigma$ 是字母表（不可分符号集）， $A$ 和 $B$ 是字母表 $\Sigma$ 上的有限字符串的集合，我们定义：

- 并（Union） :: $A\cup B=\{x\mid x\in A\text{ 或  }x\in B\}$
- 连接（Concatenation） :: $A. B=\{x.y\mid x\in A\text{ 且  }y\in B\}$
- Kleene 星号（Kleene star） ::  $A^*=\bigcup_{k\geq 0} A^k = \bigcup_{k\geq 0}\{x_1x_2\ldots x_k\mid i \le k \to x_i \in A\}$ 例如

  \[ \{a,ab\}^*=\{\varepsilon,a,ab,aab,aba,aa,abab,aaa,aaab,\ldots\} \]

#+beamer: \pause
$R$ 是正则表达式(Regular Expression，RE) ，若 $R$ 通过以下归纳定义得到：

- $\{a\}, a\in \Sigma$ ，
- \(\{\varepsilon\}\) ，即空字符串（长度为0）的集合，
- $\emptyset$ （空集）
- 若 $R_1, R_2$ 是RE，则 $R_1\cup R_2$ 亦然 （对 $\cup$ 运算封闭），
- 若 $R_1, R_2$ 是RE，则 $R_1.R_2$ 亦然（对 \(.\) 运算封闭），
- 若 $R_1$ 是RE，则 $(R_1)^*$ 亦然 （对 $*$ 运算封闭）。
*** 正则表达式的等价表述
以下命题等价：

- $R$ 是正则表达式
- $R$ 是被有限自动机接受的语言
- $R$ 是被 Chomsky 的 3-型文法生成的语言

有限自动机 $\mathcal{M}=(Q,\Sigma,\delta,q_0,F)$ , 其中 $Q$ 是有限的状态集， $\Sigma$ 是有限的字母表， $\delta:Q\times \Sigma\rightarrow \mathcal{P}(Q)$ 是状态转移关系，$q_0\in Q$ 是初始状态, $F\subset Q$ 是接受状态的集合。

**** 3-型文法满足右线性或左线性
右线性的例子：
\[ A\rightarrow w B, A\rightarrow w, A\rightarrow \varepsilon \]
其中 $A, B$ 表示可分符号（non-terminal symbol），$w \in \Sigma$ 是不可分符号（terminal symbol）。

*** 确定与非确定自动机
    #+attr_latex: :height 5cm
    [[./fig/com.png]]

    对于任意的非确定型自动机，存在与其等价的确定型自动机。即，任何被非确定型自动机接受的语言，都可以被某一个确定型自动机接受。
*** 例子
    - 字母表 $\Sigma=\{a,b\}$ 。非确定型有限自动机 $\mathcal{M}$ :
      #+attr_latex: :height 2.5cm
      [[./fig/nfa.png]]
    - 一个与 $\mathcal{M}$ 等价的确定型自动机：
      #+attr_latex: :height 2.5cm
      [[./fig/dfa.png]]

*** 正则语言
**** 定义与示例
#+begin_export latex
\begin{itemize}\setlength\itemsep{0.8em}
\item $L(M) = $被自动机$M$接受的字符串的集合\\
  ~~~~~~ =被$M$识别的语言\\
  ~~~~~~ =被$M$计算的函数
\item 一个语言 \( L' \) 是正则的，当且仅当存在一个DFA \( M \) 使得 \( L' = L(M) \)。
    \item 示例：
    \begin{itemize}
        \item \( L' = \{ w \mid w \text{ 以1结尾} \} \) 是正则的。
        \item \( L' = \{ w \mid w \text{ 以1开头} \} \) 是正则的。
        \item \( L' = \{ w \mid w \text{ 有奇数个1} \} \) 是正则的。
    \end{itemize}
\end{itemize}
#+end_export

*** 构造新的正则语言
**** 已知某些语言是正则的
#+begin_export latex
\begin{itemize}\setlength\itemsep{0.8em}
\item \textbf{正则语言的补集也是正则的。}：若 \( A \subseteq \Sigma^* \) 是正则语言，则 \( \neg A \)（A的补集）也是正则语言，其中 \( \neg A = \{ w \in \Sigma^* \mid w \notin A \} \)。
\item 为什么这很重要？
\item 因为它告诉我们正则语言类在补集操作下是封闭的。封闭性质在形式语言理论中非常基础，允许我们在保持某些性质的同时，从现有语言构造新的语言。
\item \textbf{关键步骤}：
\begin{enumerate}
    \item 从识别 \( A \) 的DFA \( M \) 开始。
    \item 构造一个新的DFA \( M' \)，交换终止状态和非终止状态，即\( M' \)的终止状态为 \( Q \setminus F \)。
    \item 证明\( M' \) 现在识别 \( \neg A \)， 即\( \neg A \) 是正则的。
\end{enumerate}
\end{itemize}
#+end_export

*** 正则语言提示
#+begin_export latex
\begin{itemize}\setlength\itemsep{0.8em}
\item \textbf{完整的DFA}
补集构造假设DFA \( M \) 是完整的，即对于每个状态和每个字母表中的符号都有定义的转移。如果 \( M \) 不完整，我们可能需要添加一个“死状态”来使其完整，然后再取补集。
  
\item  \textbf{针对DFA}
对于非确定性自动机NFA，我们不能直接交换终止状态和非终止状态，因为NFA有不同的接受标准。但对于有限输入的自动机而言，任何NFA都可以转换为DFA，结果仍然成立。
\end{itemize}
#+end_export

*** 其他变换操作
**** 正则语言在其他操作下也是封闭的.
#+begin_export latex
\begin{itemize}\setlength\itemsep{0.8em}
    \item \textbf{并集}：如果 \( A \) 和 \( B \) 是正则的，则 \( A \cup B \) 是正则的。\\
    要点：
    \begin{itemize}
    \item 设DFA \( M_1 = (Q_1, \Sigma_1, \delta_1, q^1_0, F_1) \)和\( M_2 = (Q_2, \Sigma_2, \delta_2, q^2_0, F_2) \)满足\( L(M_1)=A\)和\( L(M_2)=B\)。
    \item 构造新DFA \( M = (Q, \Sigma, \delta, q^1_0, F_1) \)：\\
     - 状态集 \( Q = Q_1 \times Q_2 \)，\\
     - 转移函数为$\delta((q_1,q_2),a)=(\delta_1(q_1,a),\delta_2(q_2,a))$，\\
     - 接受条件为$F=\{(q_1,q_2): q_1\in F_1\text{ 或 } q_2\in F_2\}$.
    \item 证明$L(M)=L(M_1)\cup L(M_2)$.
    \end{itemize}
    \item \textbf{交集}：根据德摩根定律，\( A \cap B = \neg (\neg A \cup \neg B) \)。
    %\item \textbf{连接、Kleene星号等}：所有这些操作都保持正则性。
\end{itemize}
#+end_export
**** 语言 \(L\) 的反转
\( L^R = \{ w_k \cdots w_1 \mid w_1 \cdots w_k \in L \} \)

** 应用实例
*** 语法要素：类算术运算的组合规则
- 所有字符默认与自己匹配
- =.= 代表任意字符
- =^=, =$= 开始与结束
- =*= 任意重复
  - =+= 至少一次重复
  - =?= 0或1次
  - ={n,m}= 重复 n 至 m （包含）次
#+beamer: \pause
- =()= 组合
- =|= 或
- =[]= 字符集
  - =[0-9]=
  - =[a-zA-Z]=
  - =[^abc]=
#+beamer: \pause
- =\<=, =\>= 单词的开始和结束处的空白符
- =\b= 单词两边的空白符
- =\B= 非单词两边的空白符， =\b= 的补集
*** 正则表达式流派
   - 基础正则表达式 :: Basic RE
     - =?= =+= ={= =|= =(= =)= 是字符本身，需要特殊含义得加上 =\= ，例如 =\?= =\+= 等
   - 扩展正则表达式 :: Extended RE
     - GNU 环境里与基础正则表达式功能完全一致，只是语法约定相反， =\?= =\+= 等代表 “?” 和 “+” 本身， =?= =+= 等有特殊含义。
   - Perl 正则表达式 :: Perl-Compatible RE
     - 与 Perl 5 语言正则表达式有同样功能
     - 超出有限状态自动机的功能：递归、条件、引用等
       + 严谨来讲已经不再是数学意义上的正则表达式，但更加实用
*** =grep=
    - 基本功能：检验输入的第一行是否与正则表达式匹配，若是则输出该行。
    - =egrep= 等价于 =grep -E= ，扩展正则表达式
    #+NAME: 2cad784c-bd9a-43de-9851-b4de14f37ff1
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      file $(which egrep)
    #+end_src

    #+RESULTS: 2cad784c-bd9a-43de-9851-b4de14f37ff1
    : /bin/egrep: POSIX shell script, ASCII text executable
    #+NAME: 4881f785-276a-446d-a2d7-2978fdf2021b
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      cat /bin/egrep
    #+end_src

    #+RESULTS: 4881f785-276a-446d-a2d7-2978fdf2021b
    : #!/bin/sh
    : exec /bin/grep -E "$@"

**** 文档
     - =man grep=
     - =info grep=
     - 源于 =ed= 的语法 =global/regular expression/print= \to =g/re/p=
*** 试验
    - =^=, =$= 开始与结束
    - =+= 至少一次重复
    - =?= 0或1次
    - =()= 组合

    #+NAME: aeb0d9c9-c9f2-4575-ab48-d5e2197aeb42
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 10000 | egrep ^2?3+$
    #+end_src

    #+RESULTS: aeb0d9c9-c9f2-4575-ab48-d5e2197aeb42
    : 3
    : 23
    : 33
    : 233
    : 333
    : 2333
    : 3333
    #+NAME: 81055a1a-444b-4ae9-9321-f94d2c5b1bf7
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 10000 | egrep '^(23)*$'
    #+end_src

    #+RESULTS: 81055a1a-444b-4ae9-9321-f94d2c5b1bf7
    : 23
    : 2323
*** 试验（二）
    #+NAME: 3886fe23-0a72-4ed4-bb94-f40c4849e6cd
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 10000 | egrep '^(23?)+$'
    #+end_src

    #+RESULTS: 3886fe23-0a72-4ed4-bb94-f40c4849e6cd
    #+begin_example
    2
    22
    23
    222
    223
    232
    2222
    2223
    2232
    2322
    2323
    #+end_example
    - 正则表达式写下了人类语言已经很难描述匹配的规则。
*** 试验（三）
    - =|= 或
    - =[]= =[0-9]= 字符集
    #+NAME: 28580be7-666d-40a3-9ddf-d3ac2fab69c7
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 10000 | egrep '^(2(3|4))+$'
    #+end_src

    #+RESULTS: 28580be7-666d-40a3-9ddf-d3ac2fab69c7
    : 23
    : 24
    : 2323
    : 2324
    : 2423
    : 2424
    #+NAME: 73f1761a-34dc-4a53-a3c6-3d1571511f15
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 10000 | egrep '^(23[3-6])+$'
    #+end_src

    #+RESULTS: 73f1761a-34dc-4a53-a3c6-3d1571511f15
    : 233
    : 234
    : 235
    : 236

*** 试验（四）
    - ={n,m}= 重复 n 至 m （包含）次
    #+NAME: 5b7e9160-3178-4451-9523-d56032d087ab
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq 1000000 | egrep '^23{2,4}$'
    #+end_src

    #+RESULTS: 5b7e9160-3178-4451-9523-d56032d087ab
    : 233
    : 2333
    : 23333

*** 更多字符集
- 在 =[ ]= 之内有效
  - =[:alpha:]= 字母
  - =[:digit:]= 数字
  - =[:alnum:]= 字母或数字
    - =\w= 与 =[[:alnum:]]= 同义， =\W= 与 =[^[:alnum:]]= 同义
  - =[:graph:]= 可见的字符，不包括空白
  - =[:lower:]= 小写字母
  - =[:print:]= 可见的字符和空白
  - =[:punct:]= 标点
  - =[:space:]= 空白符，包括 =\t= =\r= =\n=
    - =\s= 与 =[[:space:]]= 同义， =\S= 与 =[^[:space:]]= 同义
  - =[:upper:]= 大写字母
  - =[:xdigit:]= 十六进制数
** 文件名匹配练习
*** \TeX
    #+NAME: ad509f0a-98e3-4184-a05a-58dac76afbe6
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
grep tex usr_share_doc_list.txt | head
    #+end_src

    #+RESULTS: ad509f0a-98e3-4184-a05a-58dac76afbe6
    #+begin_example
    drwxr-xr-x  4 root root 4096 Feb  8  2021 auctex
    drwxr-xr-x  3 root root 4096 Feb  8  2021 chktex
    drwxr-xr-x  4 root root 4096 Feb  8  2021 dot2tex
    drwxr-xr-x  2 root root 4096 Feb  8  2021 fonts-texgyre
    drwxr-xr-x  2 root root 4096 Feb  8  2021 gettext
    drwxr-xr-x  2 root root 4096 Feb  8  2021 gettext-base
    drwxr-xr-x  2 root root 4096 Feb  8  2021 latex2rtf
    lrwxrwxrwx  1 root root   16 May 11  2016 latex-cjk-chinese -> latex-cjk-common
    drwxr-xr-x  5 root root 4096 Apr 14 15:46 latex-cjk-common
    drwxr-xr-x  3 root root 4096 Aug  8  2017 latex-mk
    #+end_example
*** 去掉与 \TeX 无关的项
    - 去掉 =text= =texgyre= \textipa{["dZ2I9, "g2I9]} =texinfo=
    #+NAME: 2ab7b4a1-7cac-478a-8d80-e3a0d3bc0520
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
egrep 'tex([^tgi]|$)' usr_share_doc_list.txt | head
    #+end_src

    #+RESULTS: 2ab7b4a1-7cac-478a-8d80-e3a0d3bc0520
    #+begin_example
    drwxr-xr-x  4 root root 4096 Feb  8  2021 auctex
    drwxr-xr-x  3 root root 4096 Feb  8  2021 chktex
    drwxr-xr-x  4 root root 4096 Feb  8  2021 dot2tex
    drwxr-xr-x  2 root root 4096 Feb  8  2021 latex2rtf
    lrwxrwxrwx  1 root root   16 May 11  2016 latex-cjk-chinese -> latex-cjk-common
    drwxr-xr-x  5 root root 4096 Apr 14 15:46 latex-cjk-common
    drwxr-xr-x  3 root root 4096 Aug  8  2017 latex-mk
    drwxr-xr-x  3 root root 4096 Feb  8  2021 latexmk
    drwxr-xr-x  2 root root 4096 Feb  8  2021 libpod-latex-perl
    drwxr-xr-x  2 root root 4096 Apr 14 15:44 libptexenc1
    #+end_example
*** 先有 \TeX 再有 \LaTeX
    #+NAME: 1b482f9b-8992-4a36-a0ec-37472f517611
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
egrep 'tex\S*latex' usr_share_doc_list.txt | head
    #+end_src

    #+RESULTS: 1b482f9b-8992-4a36-a0ec-37472f517611
    : drwxr-xr-x  2 root root 4096 Apr 14 15:45 texlive-latex-base
    : drwxr-xr-x  2 root root 4096 Apr 14 15:45 texlive-latex-extra
    : drwxr-xr-x  2 root root 4096 Apr 14 15:45 texlive-latex-recommended
*** \TeX 为单词的起始
    #+NAME: 47dcb1f1-1b2e-4665-84aa-8a71fef992d2
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
egrep '\btex' usr_share_doc_list.txt | head
    #+end_src

    #+RESULTS: 47dcb1f1-1b2e-4665-84aa-8a71fef992d2
    #+begin_example
    drwxr-xr-x  2 root root 4096 Feb  8  2021 fonts-texgyre
    drwxr-xr-x  2 root root 4096 Feb  8  2021 libdjvulibre-text
    drwxr-xr-x  2 root root 4096 Apr 14 15:44 tex-common
    drwxr-xr-x  2 root root 4096 Mar 24 11:19 tex-gyre
    drwxr-xr-x  3 root root 4096 Feb  8  2021 texinfo
    drwxr-xr-x  4 root root 4096 Apr 14 15:46 texlive-base
    drwxr-xr-x  2 root root 4096 Apr 14 15:45 texlive-bibtex-extra
    drwxr-xr-x  2 root root 4096 Apr 14 15:44 texlive-binaries
    drwxr-xr-x 25 root root 4096 Feb  8  2021 texlive-doc
    drwxr-xr-x  2 root root 4096 Apr 14 15:46 texlive-extra-utils
    #+end_example
*** 带有 python3 的
    #+NAME: 899a282d-342f-4569-88cd-1052d69fccb2
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
egrep '\<python3\>' usr_share_doc_list.txt | head
    #+end_src

    #+RESULTS: 899a282d-342f-4569-88cd-1052d69fccb2
    #+begin_example
    drwxr-xr-x  2 root root 4096 Apr 14 15:44 python3
    drwxr-xr-x  2 root root 4096 Apr 14 15:44 python3.9
    drwxr-xr-x  2 root root 4096 Apr 14 15:44 python3.9-minimal
    drwxr-xr-x  2 root root 4096 Feb  8  2021 python3-apt
    drwxr-xr-x  2 root root 4096 Feb  8  2021 python3-attr
    drwxr-xr-x  2 root root 4096 Feb  8  2021 python3-automat
    drwxr-xr-x  2 root root 4096 Feb  8  2021 python3-backcall
    drwxr-xr-x  2 root root 4096 Feb  8  2021 python3-bcrypt
    drwxr-xr-x  2 root root 4096 Feb  8  2021 python3-cairo
    drwxr-xr-x  2 root root 4096 Feb  8  2021 python3-certifi
    /bin/grep: write error: Broken pipe
    #+end_example
*** 恰好出现3次的字母数字
    #+NAME: 5c23c567-c8ea-422b-b38c-96e55783f073
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
egrep '\b[[:alnum:]]{3}\b' usr_share_doc_list.txt | head
    #+end_src

    #+RESULTS: 5c23c567-c8ea-422b-b38c-96e55783f073
    #+begin_example
    drwxr-xr-x  2 root root 4096 Aug  8  2017 abootimg
    drwxr-xr-x  2 root root 4096 Feb  8  2021 acl
    drwxr-xr-x  2 root root 4096 Jul  2  2019 acpi
    drwxr-xr-x  2 root root 4096 Feb  8  2021 adb
    drwxr-xr-x  3 root root 4096 Oct 12  2019 adduser
    drwxr-xr-x  2 root root 4096 Feb  8  2021 adwaita-icon-theme
    drwxr-xr-x  2 root root 4096 Jul  2  2019 alsa-oss
    drwxr-xr-x  6 root root 4096 Feb  8  2021 alsa-tools
    drwxr-xr-x  8 root root 4096 Feb  8  2021 alsa-tools-gui
    drwxr-xr-x  2 root root 4096 Feb  8  2021 alsa-utils
    /bin/grep: write error: Broken pipe
    #+end_example

** 流编辑器 sed
*** sed: stream editor
- =sed= 是 stream editor，在“流”上进行编辑
- 常用的操作是替换，可以使用正则表达式
  - 支持 Basic RE 和 Extended RE =-r=

**** 文档
     - =man sed=
     - =info sed=
     - 名字是 streamed =ed= ，前身是 =ed=
**** 替换
     #+NAME: e6a2719f-300f-463f-9749-696f54af1454
     #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
echo hello | sed 's/lo/do/'
     #+end_src

     #+RESULTS: e6a2719f-300f-463f-9749-696f54af1454
     : heldo
*** 生成 CSV
    - 把 9 处的“,”转为换行
    - =g= 代表全部替换
    #+NAME: 46623638-a91b-42dd-b24e-29a0b238e737
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      seq -s, -w 00 99 | sed 's/9,/9\n/g'
    #+end_src

    #+RESULTS: 46623638-a91b-42dd-b24e-29a0b238e737
    #+begin_example
    00,01,02,03,04,05,06,07,08,09
    10,11,12,13,14,15,16,17,18,19
    20,21,22,23,24,25,26,27,28,29
    30,31,32,33,34,35,36,37,38,39
    40,41,42,43,44,45,46,47,48,49
    50,51,52,53,54,55,56,57,58,59
    60,61,62,63,64,65,66,67,68,69
    70,71,72,73,74,75,76,77,78,79
    80,81,82,83,84,85,86,87,88,89
    90,91,92,93,94,95,96,97,98,99
    #+end_example
*** 生成 CSV （二）
    - 在 4 或 9 处换行
    - =\1= 代表第一个括号中的成分
    #+NAME: 0640d1a1-4cdf-43e5-84ce-55167de2afe2
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
seq -s, -w 00 99 | sed -r 's/([49]),/\1\n/g'
    #+end_src

    #+RESULTS: 0640d1a1-4cdf-43e5-84ce-55167de2afe2
    #+begin_example
    00,01,02,03,04
    05,06,07,08,09
    10,11,12,13,14
    15,16,17,18,19
    20,21,22,23,24
    25,26,27,28,29
    30,31,32,33,34
    35,36,37,38,39
    40,41,42,43,44
    45,46,47,48,49
    50,51,52,53,54
    55,56,57,58,59
    60,61,62,63,64
    65,66,67,68,69
    70,71,72,73,74
    75,76,77,78,79
    80,81,82,83,84
    85,86,87,88,89
    90,91,92,93,94
    95,96,97,98,99
    #+end_example

*** 使用 TUNA 源
    - 多个替换可以用 =-e= 分开 =jammy= \textipa{["dZami]}
    #+NAME: 98f629be-38ea-4134-b3b1-6ce37a624d1f
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
sed -e 's,archive.canonical.com/,mirrors.tuna.tsinghua.edu.cn/,' \
      -e 's/trusty/jammy/' sources.list | head
    #+end_src

    #+RESULTS: 98f629be-38ea-4134-b3b1-6ce37a624d1f
    #+begin_example
    # deb cdrom:[Ubuntu 14.04 LTS _Trusty Tahr_ - Release amd64 (20140417)]/ jammy main restricted

    # See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade to
    # newer versions of the distribution.
    deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
    deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse

    ## Major bug fix updates produced after the final release of the
    ## distribution.
    deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
    #+end_example
*** 过滤掉无用的注释
    - 多个替换也可以用 =;= 分隔
    - =-n= 默认不输出， =p= 来输出
    #+NAME: 39fcebd9-f404-479c-b732-ec443ecf0949
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
sed -n '/^[^#]/{s,archive.canonical.com/,mirrors.tuna.tsinghua.edu.cn/,;
s/trusty/jammy/;p}' sources.list | head
    #+end_src

    #+RESULTS: 39fcebd9-f404-479c-b732-ec443ecf0949
    : deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
    : deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
    : deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
    : deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
    : deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
    : deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
    : deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse
    : deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse
*** 合成一个表达式
    - 使用匹配引用 =\1=
    #+NAME: f0ba69e6-09c7-49f2-92e4-22c2be2c48b2
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
sed -nr '/^[^#]/{s,archive.canonical.com(.*)trusty,mirrors.tuna.tsinghua.edu.cn\1jammy,;
p}' sources.list | head
    #+end_src

    #+RESULTS: f0ba69e6-09c7-49f2-92e4-22c2be2c48b2
    : deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
    : deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
    : deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
    : deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
    : deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
    : deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
    : deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse
    : deb-src http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse
*** =grep= 达到类似效果
    #+NAME: 77bbdf51-7b00-447c-a68f-10b9137afd1c
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
egrep -v '^(#.*)?$' sources.list
    #+end_src

    #+RESULTS: 77bbdf51-7b00-447c-a68f-10b9137afd1c
    : deb http://archive.canonical.com/ubuntu/ trusty main restricted universe multiverse
    : deb-src http://archive.canonical.com/ubuntu/ trusty main restricted universe multiverse
    : deb http://archive.canonical.com/ubuntu/ trusty-updates main restricted universe multiverse
    : deb-src http://archive.canonical.com/ubuntu/ trusty-updates main restricted universe multiverse
    : deb http://archive.canonical.com/ubuntu/ trusty-backports main restricted universe multiverse
    : deb-src http://archive.canonical.com/ubuntu/ trusty-backports main restricted universe multiverse
    : deb http://archive.canonical.com/ubuntu/ trusty-security main restricted universe multiverse
    : deb-src http://archive.canonical.com/ubuntu/ trusty-security main restricted universe multiverse
    - 达成成就：没有任何字母数字的正则表达式
** =bash= 正则表达式
*** =bash= 内建正则判断
    - 由 =[[ EXPR =~ REGEX ]]= 判断 =EXPR= 是否能被 =REGEX= 匹配。
      - 支持扩展正则表达式
      - 匹配结果由 =BASH_REMATCH= 列表给出
    - 比每次调用 =egrep= 快很多
    #+NAME: 8e1e4763-f8da-47c5-a34d-92b056e44a03    
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      seq 1000 | until ! read line
      do
          if [[ $line =~ ^23+$ ]]; then
              echo ${line}
              echo ${BASH_REMATCH[0]}
          fi
      done
    #+end_src

    #+RESULTS: 8e1e4763-f8da-47c5-a34d-92b056e44a03
    : 23
    : 23
    : 233
    : 233

*** 取得匹配结果
    #+NAME: 53b43e8b-b4e6-4c6f-9ae3-3bc652d968d8
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      while read entry; do
          if [[ $entry =~ ^([^#].*)archive.canonical.com(.*)trusty ]]; then
              echo ${BASH_REMATCH[1]} ${BASH_REMATCH[2]}
          fi
      done < sources.list
    #+end_src

    #+RESULTS: 53b43e8b-b4e6-4c6f-9ae3-3bc652d968d8
    : deb http:// /ubuntu/
    : deb-src http:// /ubuntu/
    : deb http:// /ubuntu/
    : deb-src http:// /ubuntu/
    : deb http:// /ubuntu/
    : deb-src http:// /ubuntu/
    : deb http:// /ubuntu/
    : deb-src http:// /ubuntu/

*** 例子
OSIRIS 的文件整理。

#+begin_example
  /eos/juno/Commissioning_Dryrun/OSIRIS/2024/0311/OSIRISData_hybrid_20240311_101439.dat
#+end_example

链接成

#+begin_example
  /junofs/OSIRIS/0311/101439.h5
#+end_example

*** 引用常见问题
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      pattern='\.' # 引号被 bash 处理

      [[ . =~ $pattern ]] # 成功
      [[ . =~ \. ]] # 成功

      [[ . =~ "$pattern" ]] # 失败
      [[ . =~ '\.' ]] # 失败
    #+end_src
    - =\= 同时在 =bash= 和正则语句意为“除去特殊含义”。需要格外注意
    - 引号在变量赋值时使用时，变量的值不含引号。
      - 在 =[[ ]]= 里写引号时，所有字符都没有特殊含义
** Perl 正则表达式
*** 多行匹配
     - =grep= 的多行匹配功能很弱，应当使用 =pcre2grep=
     - =pcre2= 吸纳了 Perl 的正则表达式，一部分来自 Python 正则表达式。

     #+NAME: c523234c-6533-4536-bb1f-e5150bd96f85
     #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
       columns=( "DATASET.*SER"
                 "DATATYPE.*F64"
                 "DATASET.*SER_stddev"
                 "DATATYPE.*F64"
               )

       h5dump -A ser.h5| pcre2grep -M "$(echo ${columns[@]} | sed 's/ /(.|\n)*/g')"
       echo $?
     #+end_src

     #+RESULTS: c523234c-6533-4536-bb1f-e5150bd96f85
     :    DATASET "SER" {
     :       DATATYPE  H5T_IEEE_F64LE
     :       DATASPACE  SIMPLE { ( 100 ) / ( 100 ) }
     :    }
     :    DATASET "SER_stddev" {
     :       DATATYPE  H5T_IEEE_F64LE
     : 0

*** 有限状态自动机之外的功能
    - 基本正则表达式与有限自动机 finite automata 等价
    - 在 FA 之外时，可引入更强大的处理功能
**** 提供类似 =sed= 的命令语法
- Perl 的 =-p= 选项

  causes Perl to assume the following loop around your program, which
  makes it iterate over filename arguments somewhat like sed:

  #+begin_src perl
    while (<>) {
        ...             # your program goes here
    } continue {
        print or die "-p destination: $!\n";
    }
  #+end_src
*** 高级构造
    - 前趋引用匹配：形似 =sed= 的替换
    - iterative matches =\G= where previous match ends
    - look ahead behind
    - atmoic grouping 不再缩短
**** 选择结构
     - conditional constructs (140)
       - 使用之前的匹配 =(<)?\w+(?(1)>)=
**** 递归结构
     - 由 =pcre= 提出，用于匹配形如 \( a^n b^n \) 的平衡问题。

*** 例子：使用“回头看”构造
- 如果逗号之前为 4 或 9 ，就把它替换成换行。
  #+begin_src bash :results output :session local :exports both
    seq -s, -w 00 49 | perl -p -e 's/(?<=[49]),/\n/g'
  #+end_src

  #+RESULTS:
  #+begin_example
  00,01,02,03,04
  05,06,07,08,09
  10,11,12,13,14
  15,16,17,18,19
  20,21,22,23,24
  25,26,27,28,29
  30,31,32,33,34
  35,36,37,38,39
  40,41,42,43,44
  45,46,47,48,49
  #+end_example

** Python 正则表达式
*** =re= 模块
受 Perl 正则表达的影响，语法参数了 Perl 正则表达式。

#+begin_src python :results value :session local :exports both
  import re

  m = re.search('(?<=abc)def', 'abcdef')
  m.group(0)
#+end_src

#+RESULTS:
: def

** 调试
*** =rxrx=
    - Perl 的正则表达式调试和教学工具

** 常见问题
*** 匹配长度
    - greedy: 贪婪匹配
    - lazy: 最小匹配
    |        | ?  | +  | *  |
    |--------+----+----+----|
    | greedy | ?  | +  | *  |
    | lazy   | ?? | +? | *? |

* 从 sed 到 awk
  :PROPERTIES:
  :EXPORT_FILE_NAME: pb
  :EXPORT_DATE: 2025-07-10 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习准备
*** 软件安装
下载文件
#+begin_src bash
  wget 'http://hep.tsinghua.edu.cn/~orv/pd/ccompiler_opt.py'
#+end_src

- Debian
  #+begin_src bash
    apt install gawk-doc feedgnuplot
  #+end_src

*** 正则表达式
    - 普适的字符串处理工具
      - =^=, =$= 开始与结束
      - =+= 至少一次重复
      - =?= 0或1次
      - =()= 组合
      - =|= 或
    - 重要工具 =grep= 行匹配 =sed= 替换
    - 进阶： Perl 正则表达式
      - 多行匹配
*** 正则表达式的写法
1. 思考清楚我们需要匹配什么文字，这些文字在文本里都可能以什么形式出现
2. 写出一个正则表达式
3. 试验正则表达式，改进
   + 哪些是我想要匹配却没匹配的
   + 哪些是我不想匹配但却匹配了的

这几乎适用于所有程序的写作。

**** 几乎是所有科学实验的思路
1. 思考清楚我们在证伪什么论断
2. 设计实验
3. 做实验，看它是否成功证伪了论断
   + 若是，理论被推翻
   + 若不是，理论经受住了考验，思考更强更精细的可证伪假说

*** 先试用功能集小的，再试用大的
#+attr_latex: :height 3.5cm
[[./out/gsap.pdf]]

**** 对人也一样
在信任一个人能胜任工作之前，先布置一个小任务

1. 打字
2. 小作业
3. 大作业

*** 自动处理文本和字符串的重要性
- 节省大量的重复劳动
  + 找到一种解决问题的途径和高效的工作方法，让人满足
  + 是工作和苦劳的本质区别
  + 程序化地解决问题，让问题本身变得更有趣
#+beamer: \pause
- 入门时，程序化解决文本问题花的时间更长
  + 注意不仅要学习如何解决问题，还要学习识别问题

**** 参考资料
- Dougherty and Robbins, Sed & Awk, 1997.
- 陈皓，AWK 简明教程
- =info sed=, =info awk=

** sed 进阶
*** 命令行语法
=sed/awk script filename=

1. 一行写不下时
2. 担心特殊字符在 =shell= 被转义时
*** 数据驱动的编程
#+attr_latex: :height 5cm
[[./fig/data-driven-programming.pdf]]

**** 匹配变换模式
1. 通过 =/regex/= 匹配要修改的行
2. 通过随后的命令修改之
*** 使用脚本
#+begin_src bash
sed -f tuna.sed sources.list
#+end_src

- 所有命令先处理第一行，再处理第二行，……
*** 定位行
#+attr_beamer: :overlay <+->
1. 什么都不写代表所有行
2. =/regex/= 代表满足 regex 的行
3. 1, 2, 3 行号，例如
   #+begin_example
1d
   #+end_example
   为删除第一行。

   =$= 代表最后一行。

4. =line1,line2= 代表从 line1 行到 line2 行，闭区间

   #+begin_example
50,$d
   #+end_example

   把从第 50 行到最后一行都删除

5. 在行的定位后加 =!= 代表反义

   #+begin_example
50,$!d
   #+end_example

   与

   #+begin_example
1,49d
   #+end_example

   等价
*** 行的定位
原有的第一行是 =...cdrom...=

#+begin_src bash :results output :session local :exports both
  sed '1d' sources.list | head
#+end_src

#+RESULTS:
: # See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade to
: # newer versions of the distribution.
: deb http://archive.canonical.com/ubuntu/ trusty main restricted universe multiverse
: deb-src http://archive.canonical.com/ubuntu/ trusty main restricted universe multiverse
: 
: ## Major bug fix updates produced after the final release of the
: ## distribution.
: deb http://archive.canonical.com/ubuntu/ trusty-updates main restricted universe multiverse
: deb-src http://archive.canonical.com/ubuntu/ trusty-updates main restricted universe multiverse

*** 行尾的定位
如果把 =a= 替换成 =i= ，表示是从行号之前插入
#+begin_src bash :results output :session local :exports both
  sed '$a# Thank you for using TUNA mirrors' sources.list | tail
#+end_src

#+RESULTS:
: ## Uncomment the following two lines to add software from Canonical's
: ## 'partner' repository.
: ## This software is not part of Ubuntu, but is offered by Canonical and the
: ## respective vendors as a service to Ubuntu users.
: # deb http://archive.canonical.com/ubuntu trusty partner
: # deb-src http://archive.canonical.com/ubuntu trusty partner
: 
: # deb http://archive.canonical.com/debian/ sid main contrib non-free
: # Thank you for using TUNA mirrors
*** 行的范围
#+begin_src bash :results output :session local :exports both
  sed '21,$d' sources.list | tail
#+end_src

#+RESULTS:
: deb-src http://archive.canonical.com/ubuntu/ trusty-updates main restricted universe multiverse
: 
: ## N.B. software from this repository may not have been tested as
: ## extensively as that contained in the main release, although it includes
: ## newer versions of some applications which may provide useful features.
: ## Also, please note that software in backports WILL NOT receive any review
: ## or updates from the Ubuntu security team.
: deb http://archive.canonical.com/ubuntu/ trusty-backports main restricted universe multiverse
: deb-src http://archive.canonical.com/ubuntu/ trusty-backports main restricted universe multiverse

*** 行的范围取反
#+begin_src bash :results output :session local :exports both
  sed '1,20!d' sources.list | tail
#+end_src

#+RESULTS:
: deb-src http://archive.canonical.com/ubuntu/ trusty-updates main restricted universe multiverse
: 
: ## N.B. software from this repository may not have been tested as
: ## extensively as that contained in the main release, although it includes
: ## newer versions of some applications which may provide useful features.
: ## Also, please note that software in backports WILL NOT receive any review
: ## or updates from the Ubuntu security team.
: deb http://archive.canonical.com/ubuntu/ trusty-backports main restricted universe multiverse
: deb-src http://archive.canonical.com/ubuntu/ trusty-backports main restricted universe multiverse
*** 定位行的嵌套
可以把行的定位嵌套，例如，删除所有从第 1 到 49 行中的空行，并把 lo 换成 do

#+begin_example
  1,49{
    /^\s*$/d
    s/lo/do/
  }
#+end_example

#+begin_src bash :results output :session local :exports both
  sed -r '1,8{/^($|#)/d}' sources.list | head -n15
#+end_src

#+RESULTS:
#+begin_example
deb http://archive.canonical.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://archive.canonical.com/ubuntu/ trusty main restricted universe multiverse
## distribution.
deb http://archive.canonical.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://archive.canonical.com/ubuntu/ trusty-updates main restricted universe multiverse

## N.B. software from this repository may not have been tested as
## extensively as that contained in the main release, although it includes
## newer versions of some applications which may provide useful features.
## Also, please note that software in backports WILL NOT receive any review
## or updates from the Ubuntu security team.
deb http://archive.canonical.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://archive.canonical.com/ubuntu/ trusty-backports main restricted universe multiverse

deb http://archive.canonical.com/ubuntu/ trusty-security main restricted universe multiverse
#+end_example

*** 比较新旧文件的区别
#+begin_src bash :results output
  sed '1,100s/Aug/ 08/' usr_share_doc_list.txt > usr_share_doc_list.txt.new
  diff -u usr_share_doc_list.txt{,.new}
#+end_src

#+RESULTS:
#+begin_example
--- usr_share_doc_list.txt	2021-08-30 11:59:19.000000000 +0800
+++ usr_share_doc_list.txt.new	2023-07-27 12:18:20.209493339 +0800
@@ -1,5 +1,5 @@
 total 8868
-drwxr-xr-x  2 root root 4096 Aug  8  2017 abootimg
+drwxr-xr-x  2 root root 4096  08  8  2017 abootimg
 drwxr-xr-x  2 root root 4096 Feb  8  2021 acl
 drwxr-xr-x  2 root root 4096 Jul  2  2019 acpi
 drwxr-xr-x  2 root root 4096 Feb  8  2021 adb
@@ -92,7 +92,7 @@
 drwxr-xr-x  2 root root 4096 Apr 14 15:44 cl-swank
 drwxr-xr-x  2 root root 4096 Feb  8  2021 cl-trivial-gray-streams
 drwxr-xr-x  2 root root 4096 Feb  8  2021 cl-unicode
-drwxr-xr-x  2 root root 4096 Aug 30 10:21 cmatrix
+drwxr-xr-x  2 root root 4096  08 30 10:21 cmatrix
 drwxr-xr-x  2 root root 4096 Feb  8  2021 coreutils
 drwxr-xr-x  3 root root 4096 Feb  8  2021 cowsay
 drwxr-xr-x  2 root root 4096 Feb  8  2021 cowsay-off
#+end_example

*** sed 的典型使用场景
- 一文多改 :: 一个文件上投入多个改动
- 一脚多文 :: 一个脚本用在多个文件上
- 高级 grep :: 在查找关键词之前，先对待找的文本进行清洗
- 管道过滤 :: 直接对着标准输入过滤，给到标准输出
**** 数据清洗
数据清理：把数据整理成方便的格式

- 在物理学之外的其它“大数据”学科，90% 的工作是数据清洗。

*** 例子：课件中的代码块
https://git.tsinghua.edu.cn/physics-data/lecture/-/blob/master/Makefile

#+begin_src makefile -i
e%.tex: p%.tex
	sed -e 's/{sqlite}/{sqlite3}/' -e 's/ein-python/python/' \
		-e 's/ein-bash/bash/' \
		-e '/{minted}/s/\[\]/\[bgcolor=lightgray,fontsize=\\scriptsize\]/' \
		-e 's/\\begin{verbatim}/{\\scriptsize\\begin{verbatim}/' \
		-e 's/end{verbatim}/end{verbatim}}/' < $< > $@

#+end_src
*** 多行匹配
- 部分 =pcre2grep -M= 的功能。
#+begin_src bash :results output :session local :exports both
  echo "This is your cat
  my cat's name is betty
This is your dog
  my dog's name is frank" | sed 'N;s/\n/,/'
#+end_src

#+RESULTS:
: This is your cat,  my cat's name is betty
: This is your dog,  my dog's name is frank

*** 例子：把一列变成三列
#+begin_src bash :results output :session local :exports both
squeue -h -o "%.7i %.18j %.8M %.1c %R" -t R -u tjjk | sed "N;N;s/\n/\t/g"
#+end_src

*** Hold space
为 =sed= 自动机配了一个队列。

- g :: 将 hold space 中的内容拷贝到 pattern space 中，原来 pattern space 里的内容清除
- G :: 将 hold space 中的内容 append 到 pattern space 后
- h :: 将 pattern space 中的内容拷贝到 hold space 中，原来的 hold space 里的内容被清除
- H :: 将 pattern space 中的内容 append 到 hold space 后
- x :: 交换 pattern space 和 hold space 的内容

*** 收集-积累-输出
#+begin_src bash :results output :session local :exports both
  echo "one
  two
  three" | sed "H;g"
#+end_src

#+RESULTS:
: one
: 
: one
: two
: 
: one
: two
: three

#+attr_latex: :height 4.5cm
[[./fig/sed_demo.jpg]]
*** 10 乘 10 矩阵
- 执行 =N= 9 次。重复过多，不如使用 =python= 辅助构建字符串。
#+begin_src bash :results output :session local :exports both
  seq -w 00 99 | sed $(python3 -c "print('N;'*9)")'s/\n/,/g'
#+end_src

#+RESULTS:
#+begin_example
00,01,02,03,04,05,06,07,08,09
10,11,12,13,14,15,16,17,18,19
20,21,22,23,24,25,26,27,28,29
30,31,32,33,34,35,36,37,38,39
40,41,42,43,44,45,46,47,48,49
50,51,52,53,54,55,56,57,58,59
60,61,62,63,64,65,66,67,68,69
70,71,72,73,74,75,76,77,78,79
80,81,82,83,84,85,86,87,88,89
90,91,92,93,94,95,96,97,98,99
#+end_example

*** 反序
#+begin_src bash :results output :session local :exports both
seq 5 | sed '1!G;h;$!d'
#+end_src

#+RESULTS:
: 5
: 4
: 3
: 2
: 1

#+begin_src bash :results output :session local :exports both
seq 5 | tac 
#+end_src

#+RESULTS:
: 5
: 4
: 3
: 2
: 1

** ed 编辑
*** 行编辑器
- 在显示器大行其道之前
  - 计算机终端的主要输出方式是打印机，当时最佳的方式行编辑
**** 试验
#+begin_src bash
ed departments.csv
#+end_src
- =d=
- =/regex/= 找到下一个满足 regex 的行
  - =g/regex/= 找到所有满足 regex 的行
- =s/pattern/replacement/=
- =g/propagating/p=
- =echo 'g/propagating/p' | ed /tmp/texts.log=
*** sed 与 ed 的区别
- =ed= 是交互的，默认作用于一行，用 =/regex/= 扩展编辑范围
- =sed= 是批处理的，默认作用于每一行，用 =/regex/= 限制编辑范围

**** awk 与 sed 的区别
- 不再使用 =ed= 的单字母命令，改用 C 语言风格的语法，例如
  =/regex/{ print }=
**** ed 的命令影响了 ex
=ex= 是 =vi= 的前身，后者发展成 VIM (Vi IMproved)， VIM 的开发停滞，开发者正在转向 neovim

** awk 特点
*** sed 到 awk
有些简单的问题可用 sed 解决，复杂一些的问题适合 awk 解决

**** sed 适合解决
1. 批量修改文本
2. 把同一个修改应用到多个文件上
3. 把一种格式的文本转化成另一种

sed 的操作（最常用的是查找-替换），更接近于编辑器

#+beamer: \pause
**** awk 是模式匹配语言
- 用 awk 描述数据中的规律，从而取得对应的信息
- 单行的 awk 程序可以从命令行直接输入
- 把文本看成是数据仓库，例如 CSV
  + 在文本处理的同时，集成算术运算
*** sed 与 awk 的共同点
- 都是数据流驱动的编程语言
  但与 Make 语言不同，不是函数式语言
- 大量使用正则表达式
- 可以快速从 =bash= 调用
- =awk= 起源于 =grep= 和 =sed= ，而后两者都脱胎于 =ed= 编辑器
**** 学习 sed 和 awk 的步骤
- [X] 调用 sed 和 awk
- [X] 使用正则表达式
- [X] 从 bash 调用时的引用

  即用 =\= 和 ='= “废掉他人武功”
- [ ] 书写 sed 和 awk 的脚本
*** 学习新语言的原因
- +实验物理的大数据方法+
  - 28 天速成七种语言：Python, Bash, Make, Regex, Awk, R, SQL

- 经济性：有了 Python 基础，学习其它语言门槛大大降低，不再需要额外精力
  - 第一门语言难度 100% ，思维广度 +100%
  - 第二门语言难度 25% ，思维广度 +100%
  - 第三门语言难度 1% ，思维广度 +100%
  - 回报越来越大，[[https://learnxinyminutes.com/][learn x in y minutes]]。

** awk 基础
*** 运行 awk
输出第二列
#+begin_src bash
  awk '{print $2}' < sources.list | head -n5
#+end_src

#+RESULTS:
| deb                                  |
|                                      |
| See                                  |
| newer                                |
| http://archive.canonical.com/ubuntu/ |

**** 计算 1 到 100 的和
=total= 默认从 0 开始累加。 =NF= 是最后一列的值。
#+begin_src bash :results output
  seq 100 | awk '{total+=$1} END {print total}'
#+end_src

#+RESULTS:
: 5050

*** 正式入门
#+begin_src bash :results output
echo | awk '{ print "Hello, world!" }'
#+end_src

#+RESULTS:
: Hello, world!

#+begin_src bash :results output
  echo "Hello, world!" | awk '{ print }'
#+end_src

#+RESULTS:
: Hello, world!

#+begin_src bash :results output
  awk 'BEGIN { print "Hello world!" }'
#+end_src

#+RESULTS:
: Hello world!

*** awk 的运行模式
- 数据驱动的编程风格。
#+attr_latex: :height 5cm
[[./fig/awk-flow.pdf]]

*** 内建的变量
| 变量        | 含义                                           |
|------------+-----------------------------------------------|
| =$0=       | 当前记录（这个变量中存放着整个行的内容）             |
| =$1~$n=    | 当前记录的第n个字段，字段间由FS分隔                 |
| =FS=       | 输入字段分隔符 默认是空格或Tab                     |
| =NF=       | 当前记录中的字段个数，就是有多少列                  |
| =NR=       | 已经读出的记录数，就是行号，从1开始。               |
|            | 如果有多个文件话，这个值也是不断累加。               |
| =FNR=      | 当前记录数，与NR不同的是，这个值会是各个文件自己的行号 |
| =RS=       | 输入的记录分隔符， 默认为换行符                    |
| =OFS=      | 输出字段分隔符， 默认也是空格                      |
| =ORS=      | 输出的记录分隔符，默认为换行符                     |
| =FILENAME= | 当前输入文件的名字                               |

- =-F= 可以改变 =FS= 的值，例如 =awk -F,=

*** CSV 操作
#+begin_src bash :results output :session local :exports both
  sed 's/ /,/g' hz.csv > hz-r1.csv
  cat hz-r1.csv
#+end_src

#+RESULTS:
#+begin_example
00,01,02,03,04,05,06,07,08,09
10,11,12,13,14,15,16,17,18,19
20,21,22,23,24,25,26,27,28,29
30,31,32,33,34,35,36,37,38,39
40,41,42,43,44,45,46,47,48,49
50,51,52,53,54,55,56,57,58,59
60,61,62,63,64,65,66,67,68,69
70,71,72,73,74,75,76,77,78,79
80,81,82,83,84,85,86,87,88,89
90,91,92,93,94,95,96,97,98,99
#+end_example
*** awk 读取 csv
#+begin_src bash :results output :session local :exports both
  awk -F, '{print $2,$6; total+=$2} END {print total}' < hz-r1.csv
#+end_src

#+RESULTS:
#+begin_example
01 05
11 15
21 25
31 35
41 45
51 55
61 65
71 75
81 85
91 95
460
#+end_example

*** 替换文本内容
- info: gawk \to sample programs \to clones
  + cut
  + egrep
  + id
  + split
  + tee
  + uniq
  + wc

*** 课堂练习： =wc=
- =wc -l=
  #+begin_src bash :results output :session local :exports both
    seq 3 100 | awk '{lines++} END {print lines}'
  #+end_src

  #+RESULTS:
  : 98

  #+begin_src bash :results output :session local :exports both
    seq 3 100 | awk 'END {print NR}'
  #+end_src

  #+RESULTS:
  : 98

- =wc -c=
  #+begin_src bash :results output :session local :exports both
    seq 3 100 | awk '{chars+=length($0)+1} END {print chars}'
  #+end_src

  #+RESULTS:
  : 288

  #+begin_src bash :results output :session local :exports both
    seq 3 100 | wc -c
  #+end_src

  #+RESULTS:
  : 288
*** =cut=
#+begin_src bash :results output :session local :exports both
  cut -c1-9 sources.list | head -n5
#+end_src

#+RESULTS:
: # deb cdr
: 
: # See htt
: # newer v
: deb http:

#+begin_src bash :results output :session local :exports both
  awk '{print substr($0,1,9)}' sources.list | head -n5
#+end_src

#+RESULTS:
: # deb cdr
: 
: # See htt
: # newer v
: deb http:

*** 课堂练习： =uniq=
- =uniq -c=
  #+begin_src bash :results output :session local :exports both
    echo "a
    a
    b
    c
    c
    c" | uniq -c
  #+end_src

  #+RESULTS:
  : 2 a
  :       1 b
  :       3 c

  #+begin_src bash :results output :session local :exports both
    echo "a
    a
    b
    c
    c
    c" | awk -f uniq.awk
  #+end_src

  #+RESULTS:
  : 2 a
  : 1 b
  : 3 c

*** 课堂练习： =egrep=
- =egrep=
  #+begin_src bash :results output :session local :exports both
    seq 10000 | egrep '^23+$'
  #+end_src

  #+RESULTS:
  : 23
  : 233
  : 2333

  #+begin_src bash :results output :session local :exports both
    seq 10000 | awk '/^23+$/'
  #+end_src

  #+RESULTS:
  : 23
  : 233
  : 2333

  #+begin_src bash :results output :session local :exports both
    seq 10000 | awk '/^23+$/{s+=$0} END {print s}'
  #+end_src

  #+RESULTS:
  : 2589

*** =tee=
#+begin_src bash :results output :session local :exports both
  seq 100 | tee numbers.csv | head -n5
#+end_src

#+RESULTS:
: 1
: 2
: 3
: 4
: 5
#+begin_src bash :results output :session local :exports both
  seq 100 | awk -f tee.awk numbers.csv | head -n5
#+end_src

#+RESULTS:
: 1
: 2
: 3
: 4
: 5
*** tee 输出文件的效果
#+begin_src bash :results output :session local :exports both
  head numbers.csv
#+end_src

#+RESULTS:
#+begin_example
1
2
3
4
5
6
7
8
9
10
#+end_example

*** sed 与 awk 的联合：乘法表
使用管道

#+begin_src bash :results output :session local :exports both
  seq 9 | sed 'H;g' |\
      awk -v RS='' '{for(i=1;i<=NF;i++)
          printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'
#+end_src

#+RESULTS:
: 1x1=1
: 1x2=2	2x2=4
: 1x3=3	2x3=6	3x3=9
: 1x4=4	2x4=8	3x4=12	4x4=16
: 1x5=5	2x5=10	3x5=15	4x5=20	5x5=25
: 1x6=6	2x6=12	3x6=18	4x6=24	5x6=30	6x6=36
: 1x7=7	2x7=14	3x7=21	4x7=28	5x7=35	6x7=42	7x7=49
: 1x8=8	2x8=16	3x8=24	4x8=32	5x8=40	6x8=48	7x8=56	8x8=64
: 1x9=9	2x9=18	3x9=27	4x9=36	5x9=45	6x9=54	7x9=63	8x9=72	9x9=81

** feedgnuplot
*** 在命令行制图
#+begin_src bash :results output :session local :exports both
    seq 0 0.1 1 | awk '{print $1, $1, sqrt($1)}' | \
        feedgnuplot --domain --lines --points \
                    --terminal 'dumb 60,16' --unset grid --exi

#+RESULTS:
#+begin_example
                                                            
    1 +-------------------------------------------------+   
      |         +         +         +       ##B####B##  |   
  0.8 |-+                              ##B## *A**     +-|   
      |                           ##B##    **           |   
      |                 ##B####B##     **A*             |   
  0.6 |-+           #B##          **A**               +-|   
      |           ##         **A**                      |   
  0.4 |-+     ##B#      **A**                         +-|   
      |    B##      *A**                                |   
      |   #       **                                    |   
  0.2 |-##    **A*                                    +-|   
      |# **A**  +         +         +         +         |   
    0 +-------------------------------------------------+   
      0        0.2       0.4       0.6       0.8        1
#+end_example

#+end_src

#+RESULTS:
#+begin_example
                                                            
    1 +-------------------------------------------------+   
      |         +         +         +       ##B####B##  |   
  0.8 |-+                              ##B## *A**     +-|   
      |                           ##B##    **           |   
      |                 ##B####B##     **A*             |   
  0.6 |-+           #B##          **A**               +-|   
      |           ##         **A**                      |   
  0.4 |-+     ##B#      **A**                         +-|   
      |    B##      *A**                                |   
      |   #       **                                    |   
  0.2 |-##    **A*                                    +-|   
      |# **A**  +         +         +         +         |   
    0 +-------------------------------------------------+   
      0        0.2       0.4       0.6       0.8        1
#+end_example

** awk 练习
*** 统计选课人数
- 使用字典

*** 去掉无用的编译选项
#+begin_src awk
  {
      GENTOO_ENABLE=1;
      if (match($0, /flags="([^"=]*)"/, cflags)) {
          split(cflags[1], fields);
          for (i in fields) {
              if (match(fields[i], /-m([[:graph:]]*)/, inst)) {
                  if (!index(enabled_flags, inst[1])) {
                      GENTOO_ENABLE=0;
                  }}}}
      if (!GENTOO_ENABLE) { sub(cflags[1], "-mGENTOO_DISABLE"); }
      print; 
  }
#+end_src

https://gitweb.gentoo.org/repo/gentoo.git/commit/?id=ea2987349ece6f07da01e1c2f3e9808455fa394c

** 后备
*** 回顾
**** 科学数据处理的原则                                        :B_alertblock:
     :PROPERTIES:
     :BEAMER_env: alertblock
     :END:
     _复现_ _透明_ _一次_ _最佳工具_

**** 版本控制
     Git 与队友分工协作，与明天的自己协作

**** 数据流水线
     GNU Make 管理数据的依赖与转换，实现错误恢复和并行计算

**** 命令环境
     GNU 环境中强大的小工具组合，开发与使用相融合

**** 计算语言
     Python 语法友好，工具丰富，统领 C/C++/Fortran 库

* 关系代数与 SQL
  :PROPERTIES:
  :EXPORT_FILE_NAME: pc
  :EXPORT_DATE: 2025-07-14 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习准备
*** 下载课堂练习数据并安装软件
#+begin_src bash
  wget "http://hep.tsinghua.edu.cn/~orv/pd/dataframe-practice-r1.tar.gz"
  tar -xf dataframe-practice-r1.tar.gz
#+end_src

    - 安装 SQLite3 和查看器，以及 CSV 查看器
      #+begin_src bash
        apt install sqlite3 sqlitebrowser csvkit csvkit-doc python3-duckdb
      #+end_src

*** 本周提要
   - 第一周 :: 一切工作都是差分
   - 第二周 :: 一切计算都是数组
   - 第三周 :: 一切行为都是命令
     - 程序运行与文件管理：
       1. 外壳 shell: =bash=
       2. 流水线: =make= （函数式编程、描述性编程）
       3. 字符处理：正则表达式 （描述性编程）
   - 第四周 :: *一切数据都是表格*
     - 学习如何有序组织数据，努力让统计分析和数据洞见更易进行
       - 关系代数，学习新语言 SQL
     - 应用意义：直接应用到分布式 SQL 引擎
     - 1981 年和 2014 年的两届图灵奖工作

** 关系代数
*** 引例：表格 vs 数组
    =eid= 指事例编号 event ID ， =ch= 指读数通道 =channel= 。
**** t                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.499
     :END:
    | eid | ch | wave      |
    |-----+----+-----------|
    |   0 |  0 | (0, 2, 3) |
    |   0 |  2 | (0, 0, 1) |
    |   1 |  2 | (3, 2, 0) |
    |   1 |  3 | (0, 3, 1) |
    | ... |    |           |
    - =eid= 的取值可达几百万 \( N_\mathrm{E} \) ， =ch= 的取值是 0 到 29 共 30 个。
    - 表格定义：把坐标 (0, 0)、(0, 2)、(1, 2)、(1, 3) 写在列上
    - 长度略小于 \( N_\mathrm{E} \times 30 \) 的表格
**** a                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.5
     :END:

     | ch \ eid | 0         | 1         |
     |----------+-----------+-----------|
     |        0 | (0, 2, 3) | x         |
     |        2 | (0, 0, 1) | (3, 2, 0) |
     |        3 | x         | (0, 3, 1) |

     - 如果行与列的标号不连续，则另行开辟 =eid= 和 =ch= 的数组，建立 0, 2, 3 与标号 0, 1, 2 的对应关系。
     - 形状为 \( (N_\mathrm{E}, 30) \) 的二维数组
*** 概念
    | eid | ch | wave      |
    |-----+----+-----------|
    |   0 |  0 | (0, 2, 3) |
    |   0 |  2 | (0, 0, 1) |
    |   1 |  2 | (3, 2, 0) |
    |   1 |  3 | (0, 3, 1) |
    | ... |    |           |
    
- 一切都是表，可以表达一切数据
  - 未必真实存在，可以是逻辑的表
- 集合运算，交、并、差 \( \cap,  \cup , \setminus \)
  - 集合元素是表格的行。
- 线性运算，笛卡尔积、投影、选取 \( \otimes, \Pi, \sigma \)
  - 表格扩大，列方向与行方向缩小
- 关系运算，连接 \( \bowtie \)
  - 非关系代数基本运算，可由 \( \otimes \sigma \) 组合得到，极常用
- 拓展运算，GroupBy（分组） \( \mathcal{G} \)
  - 非关系代表运算，不可由基本运算实现，极常用

*** 表格数据                                                :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
   我们经常遇到表格数据
   | eid | ch | wave      |
   |-----+----+-----------|
   |   0 |  0 | (0, 2, 3) |
   |   0 |  3 | (0, 0, 1) |
   |   1 |  4 | (0, 3, 1) |

=eid= 指事例编号 event ID ， =ch= 指读数通道 =channel= 。 =eid= 的取值可达几百万，=ch= 的取值是 0 到 29 共 30 个。那么是写成表格方便，还是写成 3 维的数组方便呢？写成表格，是否违反了一次原则？

两者都有好处，高维的数组适合静态的、整齐的和一一对应的场景，或者它们的近似情形。但是现实的实验里，有这些条件不满足的情况。数据在更多时候是动态的、参差不齐的和稀疏的。此时表格是更好的数组组织形式。表格由标号列和取值列组成，标号列对应数组的下标，而取值列对应数组的值。当值不存在时，可以省去整个标号，即 0 行；相反当一组标号对应很多值时，可悉数增加大于 1 行。这把数组从下标到值的单射关系，扩展成了自定义域变动的多值“函数”，大大增强了表现力。

这样的做的代价是列上有重复，但是对压缩算法来说，重复造成的空间浪费完全可控。

*** 以代数理论组织数据的图灵奖
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
***** Edgar F. Codd
1981年图灵奖得主

Relational database: a practical foundation for productivity.
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
***** Michael Stonebraker
2014 年图灵奖得主

For fundamental contributions to the concepts and practices underlying modern database systems.
**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
***** 参考书
     Hellerstein, Joseph M. and Michael Stonebraker. Readings in Database Systems.

*** 关系代数                                                :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
把表格的概念通过数学公理的构建，论证其有效性并加以推广，是 E.~F.~Codd 在 1981 年图灵奖的划时代工作。高度概括起来就是一句话：一切都是关系，关系就是表格。
   
在数据格式中， CSV 和 HDF5 都可以表达表格。 CSV 能表达二维以内的数组， HDF5 能表示高维数组。关系代数要讨论数据以什么形式组织的存储。

正则表达式是一个很好的计算机子体系的范例，它有公理体系，使得不同学科人群有天然的共同出发点，从而促进了分工合作。计算机专家能设计出更强大的执行引擎，而用户则定制具体的使用方式。价值或者体现在用户以商品和服务形式购入引擎，或者体现在创新的引擎被公开发表。关系代数正是提供了类似的体系。

NumPy 把这个概念继续推广，允许复合数据类型本身是数组。

*** 反思：如此简明的理论为何影响深远？
#+attr_beamer: :overlay <+->
1. 数据组织在物理学家眼里可能微不足道：如何组织不重要，能用就行；
2. “自然”地采用树状结构：一个高能量的粒子产生很多“次数粒子”，次数粒子诱导出光子，一个光子被放大成１千万个电子；
3. 争论：什么样的“树”最好？
   - 身分 vs. 能力：出身星系 vs. 天体种类；
   - 身分 vs. 能力：母粒子 vs. 粒子种类；
4. 每个人有自己关注的物理问题，因此争证持续，或者走向分裂；
5. “都是那些个二货坚持用奇怪的数据格式”；
6. 反思时，发现自己在“微不足道”上花了太多精力，非常空虚。

*** 研究这个问题是为了不再研究这个问题
- 按照简明的理论组织数据，从此之后忘掉它。
- 简明的理论有严格的数学体系；
- 与正则表达式一样，可以有完美的社会分工；
  - 使用者以关系代数的思想和语言描绘出自己要做什么；
  - 研发者以天才的程序技巧实现关系代数的基本运算，优化复合运算。

*** 工业领域的某些反弹

- 2000年左右，Web 界开始了去“关系数据库”的运动，开发 NoSQL 服务。
  - SQL 是 structured query language，关系数据库的基本语言；
  - 关系数据库是以关系代数为基础的数据管理程序，有严格的数据规范。
  #+beamer: \pause
- NoSQL 运动的支持者认为，世界丰富多样，不应该受关系代数的限制。
  - Web 2.0 被作为商业概念炒作，从业人员四处革命
  - 关系代数让一切都成为了表格，大大限制了我们的想象力，剥夺了我们自由设计数据格式的权力
  - 于是大家开浪起来，进行了一轮新的探索，在这个过程中创造了一批卓越的分布式的数据系统
  - Google 的 MapReduce 也在此运动中，改变了整个大数据处理的格局。
  #+beamer: \pause
- 但是，随着时间的推移，这些 NoSQL 的方案逐渐成熟，慢慢发展出关系代数的各种运算
  - 关系代数系统被重新发明一次，与分布式系统结合起来，成为数据时代的基石
  
** SQL 语言
*** 关系代数的实现
- SQL：是 structured query language 的缩写
  - 关系代数的天然语言，语法简明
  - 描述型的语言，描述把什么样的数据取出来
  - 也可以写数据，但一般是一次写，多次读

#+beamer: \pause
- 关系数据库 Relational Database，使用 SQL 语言描述
  - MariaDB (MySQL 的后继)
  - PostgreSQL
  - SQLite

#+beamer: \pause
- 统计软件分支，比如 S 语言中的 SAS/SPSS 中的 Dataset 或 DataFrame
  - GNU R 以及对应的 R 语言，是一个 S 语言的后继，其中 DataFrame 是语言的核心
  - Pandas 受 GNU R 的影响，目标是在 Python 的语言环境中实现 DataFrame 及其基本操作

#+beamer: \pause
- MapReduce 分布式大数据算法也受到关系代数的影响，一般都会使用关系代数作为平台高级接口
  - Hadoop 生态圈, Spark, etc.
*** 关系概念                                                :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:

所谓关系，即同一主体的多个参数之间的关系，即表格中的一行。在 NumPy 里对应复合数据类型，这些类型绑定在一起形成整体，使得表格在 NumPy 是一个逐行添加的一维数组。
    
*** SQL 描述性编程：定义清楚“我要什么”。
    - =CREATE= :: 创建表格
    - =INSERT= :: 插入行
    - =SELECT= :: 取得内容

**** SQL 关键字的大写约定
     - 为了醒目地展现 SQLite 的关键字，我们约定它们全大写。
** 基本操作
*** SQL 基本操作
    #+begin_src sqlite :db ra.db :var rel="A" :colnames yes
      CREATE TABLE A(ID integer, name text);
      INSERT INTO A VALUES(1, 'Wang');
      INSERT INTO A VALUES(2, 'Li');
    #+end_src

    #+begin_src sqlite :db ra.db :colnames yes
      SELECT * FROM A;
    #+end_src

    #+RESULTS:
    | ID | name |
    |----+------|
    |  1 | Wang |
    |  2 | Li   |
*** Python 的 SQLite 模块
    - 把 SQL 完整语句内嵌到函数调用中。
    #+NAME: 8b4cbb6d-233b-409b-8f4d-1f003dee7eaa
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      import sqlite3

      c = sqlite3.connect("ra-python.db")
      cur = c.cursor()
      cur.execute("CREATE TABLE A(ID integer, name text)")
      cur.execute("INSERT INTO A VALUES (1, 'Wang')")
      cur.execute("INSERT INTO A VALUES (2, 'Li')")
      cur.execute("SELECT * FROM A")
      print(cur.fetchall()) # 读取 SQL 返回值
      c.close() # 关闭
    #+end_src

    #+RESULTS: 8b4cbb6d-233b-409b-8f4d-1f003dee7eaa
    : [(1, 'Wang'), (2, 'Li')]

    - 计算机的本质：把一系列指令交给另一个工具执行。
*** Python 循环减少重复
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      import sqlite3

      c = sqlite3.connect("ra-python.db")
      cur = c.cursor()
      cur.execute("CREATE TABLE A(ID integer, name text)")
      for ID, name in ((1, 'Wang'), (2, 'Li')): 
          cur.execute(f"INSERT INTO A VALUES ({ID}, {name})")
      cur.execute("SELECT * FROM A")
      print(cur.fetchall()) # 读取 SQL 返回值
      c.close() # 关闭
    #+end_src
      
** 集合与线性运算
*** 集合操作
- 并 :: =UNION=
- 差 :: =EXCEPT=
- 交 :: =INTERSECT=
  #+begin_src sqlite :db ra.db :colnames yes
  SELECT column_name(s) FROM table_name1
  UNION
  SELECT column_name(s) FROM table_name2;
  #+end_src
- 笛卡尔积 :: =SELECT * FROM A,B=
- 投影 :: =SELECT name FROM A=
- 选择 :: =SELECT name FROM A WHERE ID=1=
*** 再建新的表格
    #+begin_src sqlite :db ra.db :colnames yes
      CREATE TABLE B(ID integer, name text);
      INSERT INTO B VALUES(2, 'Li');
      INSERT INTO B VALUES(3, 'Zhang');
    #+end_src

    #+RESULTS:

    #+begin_src sqlite :db ra.db :colnames yes
      SELECT * FROM B;
    #+end_src

    #+RESULTS:
    | ID | name  |
    |----+-------|
    |  2 | Li    |
    |  3 | Zhang |

*** 并运算
    #+begin_src sqlite :db ra.db :colnames yes
      SELECT * FROM B UNION
      SELECT * FROM A;
    #+end_src

    #+RESULTS:
    | ID | name  |
    |----+-------|
    |  1 | Wang  |
    |  2 | Li    |
    |  3 | Zhang |
**** 交运算
     #+begin_src sqlite :db ra.db :colnames yes
       SELECT * FROM B INTERSECT
       SELECT * FROM A;
     #+end_src

     #+RESULTS:
     | ID | name |
     |----+------|
     |  2 | Li   |
*** 笛卡尔积运算
     #+begin_src sqlite :db ra.db :colnames yes
       SELECT * FROM A, B;
     #+end_src

     #+RESULTS:
     | ID | name | ID | name  |
     |----+------+----+-------|
     |  1 | Wang |  2 | Li    |
     |  1 | Wang |  3 | Zhang |
     |  2 | Li   |  2 | Li    |
     |  2 | Li   |  3 | Zhang |
**** 差运算
     #+begin_src sqlite :db ra.db :colnames yes
       SELECT * FROM A
       EXCEPT
       SELECT * FROM B;
     #+end_src

     #+RESULTS:
     | ID | name |
     |----+------|
     |  1 | Wang |
*** 投影
    #+begin_src sqlite :db ra.db :colnames yes
      SELECT name FROM A;
    #+end_src

    #+RESULTS:
    | name |
    |------|
    | Wang |
    | Li   |
**** 选择：where 代表选择条件
    #+begin_src sqlite :db ra.db :colnames yes
      SELECT * FROM A WHERE ID=1;
    #+end_src

    #+RESULTS:
    | ID | name |
    |----+------|
    |  1 | Wang |

** 连接运算
*** 关系代数的特色
    #+begin_src sqlite :db ra.db :colnames yes
      SELECT * FROM A JOIN B ON A.ID=B.ID;
    #+end_src

    #+RESULTS:
    | ID | name | ID | name |
    |----+------+----+------|
    |  2 | Li   |  2 | Li   |

    - 用笛卡尔积和选择
    #+begin_src sqlite :db ra.db :colnames yes
      SELECT * FROM A, B WHERE A.ID=B.ID;
    #+end_src

    #+RESULTS:
    | ID | name | ID | name |
    |----+------+----+------|
    |  2 | Li   |  2 | Li   |
*** 左连接
    - 左连接，无条件保留左边
    #+begin_src sqlite :db ra.db :colnames yes
      SELECT * FROM A LEFT JOIN B ON A.ID=B.ID;
    #+end_src

    #+RESULTS:
    | ID | name | ID | name |
    |----+------+----+------|
    |  1 | Wang |    |      |
    |  2 | Li   |  2 | Li   |
    - SQLite 不支持右连接
    #+begin_src sqlite :db ra.db :colnames yes
      SELECT * FROM B LEFT JOIN A ON A.ID=B.ID;
    #+end_src

    #+RESULTS:
    | ID | name  | ID | name |
    |----+-------+----+------|
    |  2 | Li    |  2 | Li   |
    |  3 | Zhang |    |      |
** 分组概括
*** GroupBy
    #+begin_src sqlite :db ra.db :colnames yes
      INSERT INTO A VALUES(4, 'Li');
      SELECT * FROM A;
    #+end_src

    #+RESULTS:
    | ID | name |
    |----+------|
    |  1 | Wang |
    |  2 | Li   |
    |  4 | Li   |
    #+begin_src sqlite :db ra.db :colnames yes
      SELECT name,count(*) AS '人数' FROM A GROUP BY name;
    #+end_src

    #+RESULTS:
    | name | 人数 |
    |------+------|
    | Li   |    2 |
    | Wang |    1 |

** 课堂练习
*** 成绩录入
天才少年爱迪生上课时做了一个梦，梦见自己成为了一门课的助教，协助老师向注册中心系统录成绩。但是少年爱迪生在梦境位面中的超能力减半，无法调用他强大的编程战斗值，所以他找到了你。

*** 查看 CSV
    #+begin_src bash  :results output
csvlook dataframe-practice/students.csv | head
    #+end_src

    #+RESULTS:
    #+begin_example
    | 学号 | 姓名 | 性别 | 班级   | 联系方式 |
    | -- | -- | -- | ---- | -------------- |
    |  1 | AB | 女  | 物理71 | 50,626,922,811 |
    |  2 | AC | 女  | 工物61 |  6,533,879,773 |
    |  3 | AD | 男  | 物理71 | 43,865,400,582 |
    |  4 | AE | 男  | 工物71 | 58,581,462,691 |
    |  5 | AF | 女  | 物理72 | 45,017,508,911 |
    |  6 | AG | 男  | 工物72 | 26,000,243,873 |
    |  7 | AH | 男  | 物理71 |  4,295,424,729 |
    |  8 | AI | 男  | 工物83 | 51,193,285,308 |
    #+end_example

*** SQLite 读入 CSV
#+begin_src sqlite :db ra.db :colnames yes
  .mode csv
  .import dataframe-practice/students.csv students
  SELECT * FROM students LIMIT 5;
#+end_src

#+RESULTS:
| 学号 | 姓名 | 性别 | 班级   |    联系方式 |
|------+------+------+--------+-------------|
|    1 | AB   | 女   | 物理71 | 50626922811 |
|    2 | AC   | 女   | 工物61 |  6533879773 |
|    3 | AD   | 男   | 物理71 | 43865400582 |
|    4 | AE   | 男   | 工物71 | 58581462691 |
|    5 | AF   | 女   | 物理72 | 45017508911 |

    - 也可直接使用 =dataframe-practice/people.db= 读入数据。
*** csvsql
可在命令行使用 SQL 语句查询 CSV 的内容。
#+begin_src bash :results output :session local :exports both
  csvsql --query "SELECT * from students LIMIT 5;" dataframe-practice/students.csv
#+end_src

#+RESULTS:
: 学号,姓名,性别,班级,联系方式
: 1.0,AB,女,物理71,50626922811.0
: 2.0,AC,女,工物61,6533879773.0
: 3.0,AD,男,物理71,43865400582.0
: 4.0,AE,男,工物71,58581462691.0
: 5.0,AF,女,物理72,45017508911.0

*** 查看已经有的表格
    #+begin_src sqlite :db ra.db :colnames yes
      .tables
    #+end_src

    #+RESULTS:
    | A         B         students |
    |------------------------------|
**** 读入 =scores.csv= =classes.csv=
#+begin_src sqlite :db ra.db :colnames yes
  .import dataframe-practice/scores.csv scores
  SELECT 学号,`self.intro`,`a.b`,大作业 FROM scores LIMIT 3;
#+end_src

#+RESULTS:
| 学号 | self.intro | a.b | 大作业 |
|------+------------+-----+--------|
|    1 |        100 | 100 |  128.7 |
|    2 |        100 | 100 |     90 |
|    3 |        100 | 100 |    115 |

*** 读入 classes
#+begin_src sqlite :db ra.db :colnames yes
  .import dataframe-practice/classes.csv classes
  SELECT * FROM classes;
#+end_src

#+RESULTS:
| 班级   | 院系 |
|--------+------|
| 核71   | 工物 |
| 工物61 | 工物 |
| 工物72 | 工物 |

*** 少年爱迪生想
- 比较物理系和工物系的男女比例
- 算出大家的总评成绩：
  - 小作业权相等，总体占 65% 的成绩
  - 大作业占 30% 的成绩
  - 划分出不同的分数段，给出某分数段同学的手机号
- 画出各班平均小作业成绩的变化曲线
     
*** 物理系和工物系的男女比例
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
SELECT classes.院系, students.性别, count(*) AS 人数
FROM students JOIN classes
ON students.班级 = classes.班级
GROUP BY classes.院系, students.性别;
    #+end_src

    #+RESULTS:
    | 院系 | 性别 | 人数 |
    |------+------+------|
    | 工物 | 女   |    4 |
    | 工物 | 男   |   18 |
    | 物理 | 女   |   10 |
    | 物理 | 男   |   25 |
*** 选出特定成绩段的学生查询手机号
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
      SELECT 联系方式,姓名,
      (`curve.fitting`+`gpa.calculator`)/2*0.65 + `大作业`*0.3 AS total
      FROM students JOIN scores ON students.学号 = scores.学号
      WHERE total < 60;
    #+end_src

    #+RESULTS:
    |    联系方式 | 姓名 |  total |
    |-------------+------+--------|
    | 26000243873 | AG   |  22.75 |
    | 11373628062 | AK   |  45.65 |
    | 11391622912 | AM   |  38.35 |
    |  9693622361 | AR   | 55.575 |
    | 73349261755 | AY   | 53.705 |
    | 99263903250 | BE   | 53.945 |
    | 99555170920 | BJ   |  58.66 |
    | 26880267330 | BS   | 36.665 |
    | 77213592969 | BV   |  47.65 |

** 长表与宽表
*** 引例：小作业所有加和
**** schema                                                           :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.299
     :END:
    #+begin_src sqlite :db dataframe-practice/people.db :results output
.schema scores
    #+end_src

    #+RESULTS:
    #+begin_example
    CREATE TABLE `scores` (
      `学号` INTEGER,
      `self.intro` INTEGER,
      `a.b` INTEGER,
      `rank.guesser` INTEGER,
      `hdf5` INTEGER,
      `prime` INTEGER,
      `heart.curve` INTEGER,
      `gpa.calculator` REAL,
      `curve.fitting` INTEGER,
      `大作业` REAL
    );
    #+end_example
**** query                                                            :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.7
     :END:
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
      SELECT 联系方式,姓名,
      (`self.intro`+`a.b`+`rank.guesser`+hdf5+prime
      +`heart.curve`+`curve.fitting`+`gpa.calculator`)/8*0.65
      + `大作业`*0.3 AS total
      FROM students JOIN scores ON students.学号 = scores.学号
      WHERE total < 60;
    #+end_src

    #+RESULTS:
    |    联系方式 | 姓名 |   total |
    |-------------+------+---------|
    | 26000243873 | AG   |  42.575 |
    | 11391622912 | AM   | 58.0125 |
    - 可以用双引号 ="= 代替斜引号 =`=

*** 太丑了
    - 四周16次作业全都写上吗？
    - 不能写循环吗？
    - 不能自动完成吗，一次原则在哪里？
    - 问题何在？
      - 表格列的对称性。

    #+attr_latex: :height 4cm
    [[./fig/cat_tom.png]]
    
*** 长表
#+begin_src sqlite
  .open dataframe-practice/people.db
#+end_src

#+begin_src sqlite :db dataframe-practice/people.db :colnames yes
  SELECT * FROM longscores LIMIT 5
#+end_src

#+RESULTS:
| 学号 | 作业 |  分数 | 大作业 |
|------+------+-------+--------|
|    1 |    1 | 100.0 |      0 |
|    2 |    1 | 100.0 |      0 |
|    3 |    1 | 100.0 |      0 |
|    4 |    1 | 100.0 |      0 |
|    5 |    1 | 100.0 |      0 |

- “作业”一列给出作业编号
- “大作业”一列 0 代表非，1 代表是
*** 再计算一次总评
    - 用 =longscores= 分组大大简化
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
      SELECT 学号, AVG(分数) FROM longscores GROUP BY 学号 LIMIT 5
    #+end_src

    #+RESULTS:
    | 学号 |        AVG(分数) |
    |------+------------------|
    |    1 | 104.411111111111 |
    |    2 | 92.3333333333333 |
    |    3 | 94.2222222222222 |
    |    4 | 104.033333333333 |
    |    5 | 99.8333333333333 |
*** 加上权重
    :PROPERTIES:
    :ORDERED:  t
    :END:
    - 0 到 0.65 权重， 1 到 0.3 权重
    - =HAVING= 与 groupby 连用，对 group 进行过滤。
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
      SELECT 学号, SUM(权重*分数) AS 总评 FROM
      (SELECT 学号, CASE 大作业
        WHEN 0 THEN 0.65
        WHEN 1 THEN 0.3
        END AS 权重, AVG(分数) AS 分数
        FROM longscores GROUP BY 学号, 大作业)
      GROUP BY 学号
      HAVING 总评 > 105
    #+end_src

    #+RESULTS:
    | 学号 |      总评 |
    |------+-----------|
    |   49 | 105.16375 |
    |   55 | 105.70625 |

*** 建立中间结果的表格
使用 =CREATE VIEW= 为中间结果命名。这是 lazy evaluation，不必担心中间变量的资源占用。

#+begin_src sqlite :db dataframe-practice/people.db :colnames yes
  CREATE VIEW weights AS
  SELECT 学号, CASE 大作业
    WHEN 0 THEN 0.65
    WHEN 1 THEN 0.3
    END AS 权重, AVG(分数) AS 分数
    FROM longscores GROUP BY 学号, 大作业;

  CREATE VIEW finals AS
  SELECT 学号, SUM(权重*分数) AS 总评 FROM weights
  GROUP BY 学号 HAVING 总评 > 105;

  SELECT finals.学号,总评,姓名,联系方式 FROM finals JOIN students
  ON finals.学号 = students.学号;
#+end_src

*** 储存起来用于下一步使用
    - =CREATE VIEW= 把中间结果存成虚拟表格
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
      CREATE VIEW final_scores AS
      SELECT 学号, SUM(权重*分数) AS 总评 FROM
      (SELECT 学号, CASE 大作业
        WHEN 0 THEN 0.65
        WHEN 1 THEN 0.3
        END AS 权重, AVG(分数) AS 分数
        FROM longscores GROUP BY 学号, 大作业)
      GROUP BY 学号
    #+end_src

    #+RESULTS:

    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
        SELECT * FROM final_scores LIMIT 5
    #+end_src

    #+RESULTS:
    | 学号 |      总评 |
    |------+-----------|
    |    1 | 104.50375 |
    |    2 |  87.20625 |
    |    3 |  94.05625 |
    |    4 |   103.265 |
    |    5 |  98.26875 |
*** 算出大家的总评成绩
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
      SELECT students.学号,总评,姓名,联系方式
      FROM finals JOIN students
      ON finals.学号 = students.学号
      WHERE 总评 > 105
    #+end_src

    #+RESULTS:
    | 学号 |      总评 | 姓名 |    联系方式 |
    |------+-----------+------+-------------|
    |   49 | 105.16375 | BX   | 81920572715 |
    |   55 | 105.70625 | CD   | 24891470639 |
*** 总评关联班级
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
SELECT total.班级,院系,姓名,总评,联系方式 FROM classes JOIN
(SELECT 姓名,班级,总评,联系方式 FROM final_score 
JOIN students on final_score.学号 = students.学号 WHERE 总评 < 60) AS total
ON total.班级 = classes.班级
    #+end_src

    #+RESULTS:
    | 班级   | 院系 | 姓名 |    总评 |    联系方式 |
    |--------+------+------+---------+-------------|
    | 工物72 | 工物 | AG   |  42.575 | 26000243873 |
    | 物理71 | 物理 | AM   | 58.0125 | 11391622912 |

*** 成绩按班级计算
- [X] 比较物理系和工物系的男女比例
- [X] 算出大家的总评成绩：
  - [X] 小作业权相等，总体占 65% 的成绩
  - [X] 大作业占 30% 的成绩
  - [X] 划分出不同的分数段，给出某分数段同学的手机号
- [ ] 画出各班平均小作业成绩的变化曲线
*** 取得班级作业平均数据
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
      SELECT 班级, 作业, AVG(分数) AS 分数
      FROM longscores JOIN students ON longscores.学号 = students.学号
      GROUP BY 班级, 作业 LIMIT 10
    #+end_src

    #+RESULTS:
    | 班级   | 作业 |             分数 |
    |--------+------+------------------|
    | 基科71 |    1 |            100.0 |
    | 基科71 |    2 |            100.0 |
    | 基科71 |    3 |             99.0 |
    | 基科71 |    4 | 66.6666666666667 |
    | 基科71 |    5 | 97.3333333333333 |
    | 基科71 |    6 | 73.3333333333333 |
    | 基科71 |    7 | 100.333333333333 |
    | 基科71 |    8 | 86.6666666666667 |
    | 基科71 |    9 | 110.066666666667 |
    | 基科72 |    1 |            100.0 |
*** 绘图
**** p                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.569
     :END:
    #+begin_src python :results value file :session lecture-plot :exports both :noweb strip-export
      from matplotlib import pyplot as plt
      import pandas as pd
      import sqlite3

      c = sqlite3.connect("dataframe-practice/people.db")
      class_score = pd.read_sql_query("""
      SELECT 班级, 作业, AVG(分数) AS 分数
      FROM longscores JOIN students
      ON longscores.学号 = students.学号
      GROUP BY 班级, 作业
      """, c)

      one_line = class_score.query("班级 == '基科71'")
      plt.plot(one_line["作业"], one_line["分数"])
      plt.xlabel("作业")
      plt.ylabel("分数")
      <<savefig(figname="img/class_score.pdf")>>
    #+end_src

**** i                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.43
     :END:
    #+attr_latex: :width 5cm
    #+RESULTS:
    [[file:img/class_score.pdf]]
*** 长表与宽表总结
    - 长表，为了恢复列之间的对称性，对计算机系统更友好
    - 宽表，某些时候人类易于理解。
      - 不同的列有不同的属性，例如权重
      - 相同属性的列在重复，违反一次原则

** DuckDB
*** duckdb 分析数据库
高效执行数据筛选与变换：多线程与自动内存管理。

#+begin_src python :results value :session local :exports both
  import duckdb

  con = duckdb.connect(":memory:")
  ipt = 'dataframe-practice/students.csv'
  con.execute(f"CREATE VIEW students AS SELECT * FROM read_csv('{ipt}')")
  con.execute("SELECT * FROM students LIMIT 5")
  con.fetch_df()
#+end_src

#+RESULTS:
:    学号  姓名 性别    班级         联系方式
: 0   1  AB  女  物理71  50626922811
: 1   2  AC  女  工物61  06533879773
: 2   3  AD  男  物理71  43865400582
: 3   4  AE  男  工物71  58581462691
: 4   5  AF  女  物理72  45017508911

*** 更 Python 的语法
#+begin_src python :results value :session local :exports both
  x = duckdb.read_csv("dataframe-practice/students.csv")
  x.limit(5).df()
#+end_src

#+RESULTS:
:    学号  姓名 性别    班级         联系方式
: 0   1  AB  女  物理71  50626922811
: 1   2  AC  女  工物61  06533879773
: 2   3  AD  男  物理71  43865400582
: 3   4  AE  男  工物71  58581462691
: 4   5  AF  女  物理72  45017508911

* DataFrame
  :PROPERTIES:
  :EXPORT_FILE_NAME: pd
  :EXPORT_DATE: 2025-07-15 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习与提示
*** 安装软件 R 的 ggplot2 与 dbplyr
#+begin_src bash
  apt install r-cran-ggplot2 r-cran-dbplyr r-cran-dplyr
  apt install r-cran-reshape2 r-cran-rsqlite
#+end_src

*** 最佳工具                                                   :B_alertblock:
     :PROPERTIES:
     :BEAMER_env: alertblock
     :END:
     - Dataframe 流派的关系代数系统 全局最佳工具是 GNU R
       - Python 只是小圈子的最佳工具
     - Grammar of graphics 的全局最佳工具是 R ggplot2
       - seaborn 只是眼前的妥协，未来 Python 小圈子的最佳工具可能是 [[https://plotnine.readthedocs.io/en/stable/][plotnine]]

*** 关系代数复习
    - 集合运算：\( \cap,  \cup , \setminus \)
      - SQL =INTERSECT= =UNION= =EXCEPT=
    - 线性运算：\( \otimes, \Pi, \sigma \)
      - SQL =SELECT= =WHERE=
    - 关系运算：连接 \( \bowtie \)
      - SQL =JOIN=
    - 拓展运算：GroupBy（分组） \( \mathcal{G} \)
      - SQL =GROUP BY=
*** [66%]少年爱迪生想
- [X] 比较物理系和工物系的男女比例
- [X] 算出大家的总评成绩：
  - [X] 小作业权相等，总体占 65% 的成绩
  - [X] 大作业占 30% 的成绩
  - [X] 划分出不同的分数段，给出某分数段同学的手机号
- [ ] 画出各班平均小作业成绩的变化曲线
    #+begin_src sqlite :db dataframe-practice/people.db :colnames yes
      SELECT 学号, SUM(权重*分数) AS 总评 FROM
      (SELECT 学号, CASE 大作业
        WHEN 0 THEN 0.65
        WHEN 1 THEN 0.3
        END AS 权重, AVG(分数) AS 分数
        FROM longscores GROUP BY 学号, 大作业)
      GROUP BY 学号
      HAVING 总评 > 105 
    #+end_src

    #+RESULTS:
    | 学号 |      总评 |
    |------+-----------|
    |   49 | 105.16375 |
    |   55 | 105.70625 |
** DataFrame
*** DataFrame
由 R 语言提出的数据表格形式：与 SQL 一样都脱胎于关系代数思想

**** SQL 的区别
- SQL 是描述性语言，与函数式编程更接近。
  - 生成的表格不能随意改动。改动只是通过创建新表格实现。
- DataFrame 是动态结构
  - 可以更灵活地更改；
  - 但过于灵活可能带来调试上的麻烦。
- SQL 与 DataFrame 正在处理大于内存容量的数据上，融合到同一引擎之上。
*** GNU R 语言
- R 是著名的统计学语言，应用广泛
- 起源于1970年代的 S 语言
  + 在 fortran 库的基础上交互地处理数据进行统计分析

    调用 fortran 库提供交互环境是 S, Matlab 和 Numpy 的共同起源

  + 提供交互式的绘图工具，以便于快速迭代
  + 受 LISP 语言的影响
  + DataFrame 概念影响了几乎所有统计工具

    例如 S-PLUS, SAS, SPSS 应用广泛

- GNU R 重新使用 Scheme 实现了 S 语言，并以自由软件形式发布

  + 自由软件和开源运动是为科学研究提供了可 *复现* 的工具

*** 为什么使用 R
- 大部分统计学算法都有 R 语言的实现

  站在数理统计学天才们的肩膀上。

- 非常适合快速试验并找到统计方法上的 _最佳工具_

**** R 的重要数据处理模块
- =dplyr= :: 数据整理的利器，简洁的语法表达关系代数
- =dbplyr= :: 与 SQL 浑然连成一体，统一 =DataFrame= 与 SQL
- =ggplot2= :: 科学制图利器，数据制图易用性优于 =matplotlib=

**** 参考资料
1. Wickham, Çetinkaya-Rundel and Grolemund. R for Data Science: Import, Tidy, Transform, Visualize, and Model Data. 2nd edition.
2. [[https://www.math.pku.edu.cn/teachers/lidf/docs/Rbook/html/_Rbook/][李东风 R语言教程]]

** R数据类型
*** TODO 数据类型
- numeric :: 数值型，默认等价于浮点型
- integer :: 整型
- character :: 字符型
- factor :: 枚举型
- logical :: 布尔型
  #+begin_src R
# 获得帮助
help(help)
help(numeric)
  #+end_src

#+begin_src R :session pd
  10 + 66
#+end_src

#+RESULTS:
: 76

#+begin_src R :session pd
  class(76)
#+end_src

#+RESULTS:
: numeric
*** 数值的类型
=class= 与 =typeof= 的区别
- typeof :: determines the (R internal) type or storage mode。
- mode :: 与 =typeof= 类似，给出存储格式，有细微差别，参见 =help(mode)= 。
- class :: 返回 R objects 的 ‘class’ attribute，如果它不存在，则返回 =typeof= 。
#+begin_src R :session pd
  typeof(76)
#+end_src

#+RESULTS:
: double

#+begin_src R :session pd
  typeof(as.integer(76))
#+end_src

#+RESULTS:
: integer

*** 整型与浮点型
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  class(1.3)
#+end_src

#+RESULTS:
: numeric

#+begin_src R :session pd
  (53.2+5) * 2
#+end_src

#+RESULTS:
: 116.4

#+begin_src R :session pd
  2^8
#+end_src

#+RESULTS:
: 256

强行指定使用整型
#+begin_src R :session pd
  typeof(2L)
#+end_src

#+RESULTS:
: integer

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

***** numeric 的特别解读
- =numeric()= 与 =double()= 等价
- =as.numeric()= 与 =as.double()= 等价
- =is.numeric()= 不等价于 =is.double()=
  浮点型与整型都能让 =is.numeric()= 为真，甚至能转换成数字的类型都会返回真。
*** 向量
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
使用 =c= 命令构造向量
#+begin_src R :session pd
  help(c)
#+end_src

#+begin_src R :session pd
  c(3,2,1)
#+end_src

#+RESULTS:
| 3 |
| 2 |
| 1 |

#+begin_src R :session pd
  c(3,2,1) + c(4,7,8)
#+end_src

#+RESULTS:
| 7 |
| 9 |
| 9 |
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

#+begin_src R :session pd
  seq(3)
#+end_src

#+RESULTS:
| 1 |
| 2 |
| 3 |

#+begin_src R :session pd
  1:3
#+end_src

#+RESULTS:
| 1 |
| 2 |
| 3 |

内积 =%*%=
#+begin_src R :session pd
  c(3,2,1) %*% c(7,8,9)
#+end_src

#+RESULTS:
: 46

*** 向量的数据类型
#+begin_src R :session pd
  c(3, "a")
#+end_src

#+RESULTS:
| 3 |
| a |

#+begin_src R :session pd
  typeof(c(3, "a"))
#+end_src

#+RESULTS:
: character

不同类型碰到一起会被转成一般类型。

*** 变量
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  a <- c(3,2,1)
#+end_src

#+RESULTS:
| 3 |
| 2 |
| 1 |

#+begin_src R :session pd
  c(4,7,9) -> b
#+end_src

#+RESULTS:
| 4 |
| 7 |
| 9 |

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
向量的运算：一元素向量对多元素的广播
#+begin_src R :session pd
  a + 3
#+end_src

#+RESULTS:
| 6 |
| 5 |
| 4 |

#+begin_src R :session pd
  a^2 + 7
#+end_src

#+RESULTS:
| 16 |
| 11 |
|  8 |

*** 向量永远是一维的
#+begin_src R :session pd
  c(c(2,3), c(0,1))
#+end_src

#+RESULTS:
| 2 |
| 3 |
| 0 |
| 1 |

#+begin_src R :session pd
  c(c(2,3), 4)
#+end_src

#+RESULTS:
| 2 |
| 3 |
| 4 |
*** 多维数组
- 需要用 =array= 。参考 =help(array)=

An array in R can have one, two or more dimensions.  It is simply
a vector which is stored with additional attributes giving the
dimensions...

与 NumPy 数组的实现原理相同，但是按照 fortran 约定排列。

#+begin_src R :session pd
  array(1:3, c(2,4))
#+end_src

#+RESULTS:
| 1 | 3 | 2 | 1 |
| 2 | 1 | 3 | 2 |

#+begin_src R :session pd
  dim(as.array(letters))
#+end_src

#+RESULTS:
: 26

#+begin_src R :session pd
  attr(as.array(letters), "dim")
#+end_src

#+RESULTS:
: 26

但是 =letters= 作为向量，没有 =dim= 的属性。这是 =generic function= 流派的面向对象编程。

*** 向量的索引
- R 的向量索引从 1 开始。
#+begin_src R :session pd
  a[3]
#+end_src

#+RESULTS:
: 1

#+begin_src R :session pd
  a[2]
#+end_src

#+RESULTS:
: 2

- 闭区间。非 Python 的左闭右开。
#+begin_src R :session pd
  a[2:3]
#+end_src

#+RESULTS:
| 2 |
| 1 |

*** 向量作为索引
#+begin_src R :session pd
  a[c(3,3,3,1,2)]
#+end_src

#+RESULTS:
| 1 |
| 1 |
| 1 |
| 3 |
| 2 |
#+begin_src R :session pd
  a[array(1:3, c(2,2))]
#+end_src

#+RESULTS:
| 3 |
| 2 |
| 1 |
| 3 |

*** 所有数字都是向量
#+begin_src R :session pd
  length(a)
#+end_src

#+RESULTS:
: 3

#+begin_src R :session pd
  class(a)
#+end_src

#+RESULTS:
: numeric

#+begin_src R :session pd
  length(1)
#+end_src

#+RESULTS:
: 1

*** 字符型
#+begin_src R :session pd
  "Hello World!"
#+end_src

#+RESULTS:
: Hello World!

#+begin_src R :session pd
  class("Hello World!")
#+end_src

#+RESULTS:
: character

- 字符型的向量

#+begin_src R :session pd
  class(c("Hello", "World!"))
#+end_src

#+RESULTS:
: character

#+begin_src R :session pd
  c("Hello", "World!")[2]
#+end_src

#+RESULTS:
: World!

*** 字符串操作
#+begin_src R :session pd
  greek <- c("alpha", "beta", "gamma", "delta")
  length(greek)
#+end_src

#+RESULTS:
: 4

#+begin_src R :session pd
  print(greek)
#+end_src

#+RESULTS:
| alpha |
| beta  |
| gamma |
| delta |

*** 取子字符串
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.49
:END:
#+begin_src R :session pd
  substr(greek, 2, 3)
#+end_src

#+RESULTS:
| lp |
| et |
| am |
| el |

#+begin_src R :session pd
  gsub('a', 'A', greek)
#+end_src

#+RESULTS:
| AlphA |
| betA  |
| gAmmA |
| deltA |

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.49
:END:
#+begin_src R :session pd
  gsub('^a', 'A', greek)
#+end_src

#+RESULTS:
| Alpha |
| beta  |
| gamma |
| delta |

#+begin_src R :session pd
  gsub('a$', 'A', greek)
#+end_src

#+RESULTS:
| alphA |
| betA  |
| gammA |
| deltA |

*** 寻找子串
**** =grep= 返回匹配的索引
#+begin_src R :session pd
  grep('e', greek)
#+end_src

#+RESULTS:
| 2 |
| 4 |

#+begin_src R :session pd
  greek[grep('e', greek)]
#+end_src

#+RESULTS:
| beta  |
| delta |
**** 直接赋值
#+begin_src R :session pd
  substr(greek, 2, 3) <- "xx"
  greek
#+end_src

#+RESULTS:
| axxha |
| bxxa  |
| gxxma |
| dxxta |

*** 布尔型
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  class(TRUE)
#+end_src

#+RESULTS:
: logical

#+begin_src R :session pd
  TRUE & FALSE
#+end_src

#+RESULTS:
: FALSE

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  !FALSE | FALSE
#+end_src

#+RESULTS:
: TRUE

#+begin_src R :session pd :results output
  greek == "alpha"
#+end_src

#+RESULTS:
: [1]  TRUE FALSE FALSE FALSE

*** 数值型
#+begin_src R :session pd
  typeof(NaN)
#+end_src

#+RESULTS:
: double

#+begin_src R :session pd
  1 + NaN
#+end_src

#+begin_src R :session pd
  Inf + 1
#+end_src

#+RESULTS:
: Inf

#+begin_src R :session pd
  Inf - Inf # 返回 NaN
#+end_src

#+RESULTS:

#+begin_src R :session pd
  1/0
#+end_src

#+RESULTS:
: Inf

*** 枚举型
当向量中的值多有重复时，枚举型存储整数，再记录每个整数对应的字符串。
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  people <- c('男', '男', '男','女',
              '女', '男', '女', '女')
#+end_src

#+RESULTS:
| 男 |
| 男 |
| 男 |
| 女 |
| 女 |
| 男 |
| 女 |
| 女 |
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  p <- as.factor(people)
#+end_src

#+RESULTS:
| 男 |
| 男 |
| 男 |
| 女 |
| 女 |
| 男 |
| 女 |
| 女 |
*** 枚举型的机制
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  as.numeric(p)
#+end_src

#+RESULTS:
| 2 |
| 2 |
| 2 |
| 1 |
| 1 |
| 2 |
| 1 |
| 1 |

#+begin_src R :session pd
  as.numeric(people) # 直接转字符串失败
#+end_src

#+begin_src R :session pd
  p[1] <- "女"
  p[1:3]
#+end_src

#+RESULTS:
| 女 |
| 男 |
| 男 |

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

#+begin_src R :session pd
  levels(p)
#+end_src

#+RESULTS:
| 女 |
| 男 |

#+begin_src R :session pd
  levels(p) <- c("woman", "man")
  p
#+end_src

#+RESULTS:
| man   |
| man   |
| man   |
| woman |
| woman |
| man   |
| woman |
| woman |

** R 程序结构
*** 选择结构
#+begin_src R :session pd
  g <- 4
  result <- if (g %% 2) {
    "奇数"
  } else {
    "偶数"
  }
#+end_src

#+RESULTS:
: 偶数

#+begin_src R :session pd
  rep(result, 3)
#+end_src

#+RESULTS:
| 偶数 |
| 偶数 |
| 偶数 |

*** 循环结构
#+begin_src R :session pd :results output
  for (i in 1:5) {
    print(i)
  }
#+end_src

#+RESULTS:
: [1] 1
: [1] 2
: [1] 3
: [1] 4
: [1] 5

**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  -1:3
#+end_src

#+RESULTS:
| -1 |
|  0 |
|  1 |
|  2 |
|  3 |

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  -1:3 / 10
#+end_src

#+RESULTS:
| -0.1 |
|    0 |
|  0.1 |
|  0.2 |
|  0.3 |

*** for 遍历了元素
#+begin_src R :session pd :results output
  for (i in greek) {
    print(i)
  }
#+end_src

#+RESULTS:
: [1] "alpha"
: [1] "beta"
: [1] "gamma"
: [1] "delta"

*** while 循环
#+begin_src R :session pd :results output
  i <- 0
  while (i < 10) {
    print(i)
    i <- i+1
  }
#+end_src

#+RESULTS:
#+begin_example
[1] 0
[1] 1
[1] 2
[1] 3
[1] 4
[1] 5
[1] 6
[1] 7
[1] 8
[1] 9
#+end_example

*** 函数
#+begin_src R :session pd
  jiggle <- function(x) {
    x + rnorm(1, sd=0.1)
  }
  jiggle(6)
#+end_src

#+RESULTS:
: 6.04786267351062

*** 正态分布
+ =d= 代表概率密度函数
#+begin_src R :session pd
  dnorm(0, mean=0, sd=1)
#+end_src

#+RESULTS:
: 0.398942280401433

+ =p= 代表累积分布函数
#+begin_src R :session pd
  pnorm(3) - pnorm(-3)
#+end_src

#+RESULTS:
: 0.99730020393674

#+begin_src R :session pd
  pnorm(5) - pnorm(-5)
#+end_src

#+RESULTS:
: 0.999999426696856

+ =q= 代表分位数
#+begin_src R :session pd
  qnorm(0.5)
#+end_src

#+RESULTS:
: 0

*** 其它概率分布
- unif :: 均匀
- pois :: 泊松
- binom :: 二项
- gamma :: 伽马
- exp :: 指数

**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  dunif(0.5)
#+end_src

#+RESULTS:
: 1

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  dunif(2)
#+end_src

#+RESULTS:
: 0
*** 分布的例子
#+begin_src R :session pd
  runif(5)
#+end_src

#+RESULTS:
|  0.141196223907173 |
|  0.797878413693979 |
|  0.887777165044099 |
| 0.0513732228428125 |
|  0.987073467345908 |

#+begin_src R :session pd
  rpois(5, 0.5)
#+end_src

#+RESULTS:
| 0 |
| 2 |
| 0 |
| 1 |
| 0 |

** R DataFrame
*** DataFrame
- 简洁制图
- 线性回归

#+begin_src R :session pd :results output
  data(mtcars)
  head(mtcars)
#+end_src

#+RESULTS:
:                    mpg cyl disp  hp drat    wt  qsec vs am gear carb
: Mazda RX4         21.0   6  160 110 3.90 2.620 16.46  0  1    4    4
: Mazda RX4 Wag     21.0   6  160 110 3.90 2.875 17.02  0  1    4    4
: Datsun 710        22.8   4  108  93 3.85 2.320 18.61  1  1    4    1
: Hornet 4 Drive    21.4   6  258 110 3.08 3.215 19.44  1  0    3    1
: Hornet Sportabout 18.7   8  360 175 3.15 3.440 17.02  0  0    3    2
: Valiant           18.1   6  225 105 2.76 3.460 20.22  1  0    3    1
*** 类型
#+begin_src R :session pd
  typeof(mtcars)
#+end_src

#+RESULTS:
: list

#+begin_src R :session pd
  class(mtcars)
#+end_src

#+RESULTS:
: data.frame

#+begin_src R :session pd
  typeof(mtcars$hp)
#+end_src

#+RESULTS:
: double

*** 行的名字
#+begin_src R :session pd
  head(row.names(mtcars))
#+end_src

#+RESULTS:
| Mazda RX4         |
| Mazda RX4 Wag     |
| Datsun 710        |
| Hornet 4 Drive    |
| Hornet Sportabout |
| Valiant           |

#+begin_src R :session pd
  typeof(row.names(mtcars))
#+end_src

#+RESULTS:
: character

*** 列的名字
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  names(mtcars)
#+end_src

#+RESULTS:
| mpg  |
| cyl  |
| disp |
| hp   |
| drat |
| wt   |
| qsec |
| vs   |
| am   |
| gear |
| carb |
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd
  names(mtcars)[4] <- "house_power"
  names(mtcars)
#+end_src

#+RESULTS:
| mpg         |
| cyl         |
| disp        |
| house_power |
| drat        |
| wt          |
| qsec        |
| vs          |
| am          |
| gear        |
| carb        |

*** 基本的统计量
#+begin_src R :session pd
  sd(mtcars$mpg)
#+end_src

#+RESULTS:
: 6.0269480520891

#+begin_src R :session pd
  median(mtcars$mpg)
#+end_src

#+RESULTS:
: 19.2

#+begin_src R :session pd
  min(mtcars$mpg)
#+end_src

#+RESULTS:
: 10.4

#+begin_src R :session pd
  mean(mtcars$mpg)
#+end_src

#+RESULTS:
: 20.090625
*** summary 命令
快速给出向量的基本统计量，概括其全貌。
#+begin_src R :session pd :results output
  summary(mtcars$mpg)
#+end_src

#+RESULTS:
:    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
:   10.40   15.43   19.20   20.09   22.80   33.90

*** DataFrame 的 summary
#+begin_src R :session pd :results output
  summary(mtcars)
#+end_src

#+RESULTS:
#+begin_example
      mpg             cyl             disp             hp       
 Min.   :10.40   Min.   :4.000   Min.   : 71.1   Min.   : 52.0  
 1st Qu.:15.43   1st Qu.:4.000   1st Qu.:120.8   1st Qu.: 96.5  
 Median :19.20   Median :6.000   Median :196.3   Median :123.0  
 Mean   :20.09   Mean   :6.188   Mean   :230.7   Mean   :146.7  
 3rd Qu.:22.80   3rd Qu.:8.000   3rd Qu.:326.0   3rd Qu.:180.0  
 Max.   :33.90   Max.   :8.000   Max.   :472.0   Max.   :335.0  
      drat             wt             qsec             vs        
 Min.   :2.760   Min.   :1.513   Min.   :14.50   Min.   :0.0000  
 1st Qu.:3.080   1st Qu.:2.581   1st Qu.:16.89   1st Qu.:0.0000  
 Median :3.695   Median :3.325   Median :17.71   Median :0.0000  
 Mean   :3.597   Mean   :3.217   Mean   :17.85   Mean   :0.4375  
 3rd Qu.:3.920   3rd Qu.:3.610   3rd Qu.:18.90   3rd Qu.:1.0000  
 Max.   :4.930   Max.   :5.424   Max.   :22.90   Max.   :1.0000  
       am              gear            carb      
 Min.   :0.0000   Min.   :3.000   Min.   :1.000  
 1st Qu.:0.0000   1st Qu.:3.000   1st Qu.:2.000  
 Median :0.0000   Median :4.000   Median :2.000  
 Mean   :0.4062   Mean   :3.688   Mean   :2.812  
 3rd Qu.:1.0000   3rd Qu.:4.000   3rd Qu.:4.000  
 Max.   :1.0000   Max.   :5.000   Max.   :8.000
#+end_example

** 关系代数基本操作
*** 构造 data.frame
#+begin_src R :session pd
  A <- data.frame(ID=c(1,2), name=c("Wang", "Li"))
#+end_src

#+RESULTS:
| 1 | Wang |
| 2 | Li   |

#+begin_src R :session pd
  B <- data.frame(ID=c(2,3), name=c("Li", "Zhang"))
#+end_src

#+RESULTS:
| 2 | Li    |
| 3 | Zhang |
*** 集合基本运算：并
#+begin_src R :session pd
  AB <- rbind(A, B)
#+end_src

#+RESULTS:
| 1 | Wang  |
| 2 | Li    |
| 2 | Li    |
| 3 | Zhang |

#+begin_src R :session pd
  unique(AB)
#+end_src

#+RESULTS:
| 1 | Wang  |
| 2 | Li    |
| 3 | Zhang |

*** 交与差
**** 交
#+begin_src R :session pd
  merge(A, B)
#+end_src

#+RESULTS:
| 2 | Li |
**** 差
#+begin_src R :session pd
  library(dplyr)
  setdiff(B, A)
#+end_src

#+RESULTS:
| 3 | Zhang |

*** 线性代数运算：笛卡尔积
#+begin_src R :session pd
  AxB <- merge(A, B, by=NULL)
#+end_src

#+RESULTS:
| 1 | Wang | 2 | Li    |
| 2 | Li   | 2 | Li    |
| 1 | Wang | 3 | Zhang |
| 2 | Li   | 3 | Zhang |

*** 投影与选择
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
***** 投影
#+begin_src R :session pd
  A$name
#+end_src

#+RESULTS:
| Wang |
| Li   |

#+begin_src R :session pd
  A[, "name"]
#+end_src

#+RESULTS:
| Wang |
| Li   |
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
***** 选择
#+begin_src R :session pd
  subset(A, name=="Li")
#+end_src

#+RESULTS:
| 2 | Li |

#+begin_src R :session pd
  A[1,]
#+end_src

#+RESULTS:
| 1 | Wang |

*** 动态的 DataFrame
#+begin_src R :session pd :results output
  A$GPA = c(3, 4)
  A
#+end_src

#+RESULTS:
:   ID name GPA
: 1  1 Wang   3
: 2  2   Li   4

#+begin_src R :session pd :results output
  B$age = c(18, 20)
  B
#+end_src

#+RESULTS:
:   ID  name age
: 1  2    Li  18
: 2  3 Zhang  20

*** 连接
#+begin_src R :session pd :results output
  merge(A, B)
#+end_src

#+RESULTS:
:   ID name GPA age
: 1  2   Li   4  18

**** 左连接
#+begin_src R :session pd :results output
  merge(A, B, all.x=TRUE)
#+end_src

#+RESULTS:
:   ID name GPA age
: 1  1 Wang   3  NA
: 2  2   Li   4  18

*** 连接（续）
**** 右连接
#+begin_src R :session pd :results output
  merge(A, B, all.y=TRUE)
#+end_src

#+RESULTS:
:   ID  name GPA age
: 1  2    Li   4  18
: 2  3 Zhang  NA  20
**** 外连接
#+begin_src R :session pd
  merge(A, B, all=TRUE)
#+end_src

#+RESULTS:
| 1 | Wang  | 3 |    |
| 2 | Li    | 4 | 18 |
| 3 | Zhang |   | 20 |

*** GroupBy
#+begin_src R :session pd 
  AxB |> group_by(name.x) |> summarise(n=n())
#+end_src

#+RESULTS:
| Li   | 2 |
| Wang | 2 |

=|>= 它把右侧函数的第一个参数写到左侧。所以上面命令的等价于
#+begin_src R :session pd
  summarise(group_by(AxB, name.x),n=n())
#+end_src

使用 =|>= 的语句更容易阅读，其表达力类似于 =bash= 中的管道（pipe，"|"） 。

#+begin_src R :session pd :results output
  quote(AxB |> group_by(name.x) |> summarise(n=n()))
#+end_src

#+RESULTS:
: summarise(group_by(AxB, name.x), n = n())

*** GroupBy 两列
#+begin_src R :session pd 
  AxB |> group_by(name.x, ID.x) |> summarise(n=n())
#+end_src

#+RESULTS:
| Li   | 2 | 2 |
| Wang | 1 | 2 |

*** SortBy
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd 
  order(AxB$name.x)
#+end_src

#+RESULTS:
| 2 |
| 4 |
| 1 |
| 3 |

#+begin_src R :session pd :results output
  AxB[order(AxB$name.x),]
#+end_src

#+RESULTS:
:   ID.x name.x ID.y name.y
: 2    2     Li    2     Li
: 4    2     Li    3  Zhang
: 1    1   Wang    2     Li
: 3    1   Wang    3  Zhang

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
取行的同时取列
#+begin_src R :session pd :results output
  AxB[order(AxB$name.x),c("ID.y", "name.y")]
#+end_src

#+RESULTS:
:   ID.y name.y
: 2    2     Li
: 4    3  Zhang
: 1    2     Li
: 3    3  Zhang

*** 使用 R 完成成绩统计
#+begin_src R :session pd :results output
  students <- read.csv("dataframe-practice/students.csv")
  head(students)
#+end_src

#+RESULTS:
: 学号 姓名 性别   班级    联系方式
: 1    1   AB   女 物理71 50626922811
: 2    2   AC   女 工物61  6533879773
: 3    3   AD   男 物理71 43865400582
: 4    4   AE   男 工物71 58581462691
: 5    5   AF   女 物理72 45017508911
: 6    6   AG   男 工物72 26000243873

#+begin_src R :session pd :results output
  classes <- read.csv("dataframe-practice/classes.csv")
  head(classes)
#+end_src

#+RESULTS:
:     班级 院系
: 1   核71 工物
: 2 工物61 工物
: 3 工物72 工物
: 4 基科71 物理
: 5 物理72 物理
: 6 物理71 物理

*** 统计男女比例
#+begin_src R :session pd
  merge(students, classes) |>
  group_by(性别, 院系) |>
  summarise(人数=n())
#+end_src

#+RESULTS:
| 女 | 工物 |  4 |
| 女 | 物理 | 10 |
| 男 | 工物 | 18 |
| 男 | 物理 | 25 |

** 关系代数制图
*** 图形语法 Grammar of Graphics
    - 在表格与图形要素之间建立映射关系
    - 表格对称的同等层次的列，都可以映射到各类图形要素中
      1. x 轴坐标
      2. y 轴坐标
      3. 颜色
      4. 点形状（圈、三角、方块等）
      5. 线形状（实线、虚线、点划线等）
      6. 点的大小
      7. 线的粗细
      8. 透明度
      9. 子图位置
    - 在绘图时，通过调整映射关系来找到最佳的展现方式
**** 参考书
     - Leland Wilkinson, The Grammar of Graphics （沉痛缅怀 Wilkinson 教授）
     - Hadley Wickham, A Layered Grammar of Graphics
*** ggplot
#+begin_src R :session pd :file plot/mtcars.pdf :results graphics file :width 12 :height 5
  library(ggplot2)
  p <- ggplot(mtcars, aes(x=wt, y=hp)) + geom_point()
  print(p)
#+end_src

#+RESULTS:
[[file:plot/mtcars.pdf]]

*** 上色：ggplot 枚举型制图
:PROPERTIES:
:ORDERED:  t
:END:
#+begin_src R :session pd :file plot/mtcars-color.pdf :results graphics file :width 12 :height 5
p <- p + aes(color=am)
print(p)
#+end_src

#+RESULTS:
[[file:plot/mtcars-color.pdf]]

** 宽表到长表
*** 使用 tidyr 对表格等价变换
- =R= 和 =Pandas= DataFrame 可以将长表与宽表相互转换
- 发展历史为 =reshape= \to =reshape2= \to =tidyr= 。 =tidyr= 是最新的库。
**** =pivot_longer=
- =names_to= 指定名字列，用于以枚举形式存储原有的列名。
- =values_to= 指定值例，用于存储原表的值。

#+begin_src R :session pd
  library(tidyr)
  scores <- read.csv("dataframe-practice/scores.csv")
  scores |> pivot_longer(!学号, names_to="作业", values_to="分数") -> longscores
  head(longscores)
#+end_src

#+RESULTS:
| 1 | self.intro   | 100 |
| 1 | a.b          | 100 |
| 1 | rank.guesser | 100 |
| 1 | hdf5         | 100 |
| 1 | prime        | 100 |
| 1 | heart.curve  | 120 |

*** 比较两表格的形状
#+begin_src R :session pd
  dim(scores)
#+end_src

#+RESULTS:
| 57 |
| 10 |

#+begin_src R :session pd
  dim(longscores)
#+end_src

#+RESULTS:
| 513 |
|   3 |

*** 变成枚举型
#+begin_src R :session pd
  longscores$作业 <- as.factor(longscores$作业)
  levels(longscores)
#+end_src

#+RESULTS:

| self.intro     |
| a.b            |
| rank.guesser   |
| hdf5           |
| prime          |
| heart.curve    |
| gpa.calculator |
| curve.fitting  |
| 大作业          |

*** 加上大作业的类型
#+begin_src R :session pd :results output
  longscores$作业 <- longscores$作业 == "大作业"
  summary(longscores$作业)
#+end_src

#+RESULTS:
:    Mode   FALSE    TRUE 
: logical     456      57

*** 统计班级平均分
#+begin_src R :session pd :file plot/score-class.pdf :results graphics file :width 12 :height 5 :family GB1
  merge(students, longscores) |>
    group_by(班级, 作业) |>
    summarise(平均分=mean(分数)) |>
    ggplot(aes(x=作业, y=平均分, color=班级)) +
    geom_point() + facet_wrap(~班级)
#+end_src

#+RESULTS:
[[file:plot/score-class.pdf]]
*** 四个子图
#+begin_src R :session pd
  students$班类 <- as.factor(gsub('[[:digit:]]*', '', students$班级))
  unique(students$班类)
#+end_src

#+RESULTS:
| 物理 |
| 工物 |
| 核   |
| 基科 |

*** 统计班级平均分
#+begin_src R :session pd :file plot/scores.pdf :results graphics file :width 12 :height 5 :family GB1
  merge(students, longscores) |>
    group_by(班级, 作业) |>
    reframe(平均分=mean(分数), 班类=班类) |> 
    ggplot(aes(x=作业, y=平均分, color=班级)) +
    geom_point() + facet_wrap(~班类)
#+end_src

#+RESULTS:
[[file:plot/scores.pdf]]

*** [100%]少年爱迪生想
- [X] 比较物理系和工物系的男女比例
- [X] 算出大家的总评成绩：
  - [X] 小作业权相等，总体占 65% 的成绩
  - [X] 大作业占 30% 的成绩
  - [X] 划分出不同的分数段，给出某分数段同学的手机号
- [X] 画出各班平均小作业成绩的变化曲线

** dbplyr
*** SQL 的 DataFrame 接口
#+begin_src R :session dbplyr
  library(dplyr)
  library(dbplyr)
  con <- DBI::dbConnect(RSQLite::SQLite(), dbname = "dataframe-practice/people.db")
  classes <- tbl(con, "classes")

  classes |> filter(院系=='物理')
#+end_src

#+RESULTS:
| 基科71 | 物理 |
| 物理72 | 物理 |
| 物理71 | 物理 |
| 基科72 | 物理 |

*** 查看 SQL 语句
#+begin_src R :session dbplyr :results output
sql_render(classes |> filter(院系=='物理'))
#+end_src

#+RESULTS:
: <SQL> SELECT *
: FROM `classes`
: WHERE (`院系` = '物理')

*** duckdb 接口
#+begin_src bash :results output :session local :exports both
  apt install r-cran-dbi r-cran-bit64 r-cran-callr r-cran-clock
  apt install r-cran-dbitest r-cran-rlang r-cran-testthat
  apt install r-cran-tibble r-cran-vctrs r-cran-withr
#+end_src
- 采用 =install.package= 安装 =duckdb= 。
#+begin_src R :session pd
  install.packages("duckdb", repos="http://mirrors.tuna.tsinghua.edu.cn/CRAN")
#+end_src
需要经过编译实现。

*** duckdb 案例与 dbplyr 联动
#+begin_src R :session pd
  library(duckdb)
  library(dbplyr)
  con <- dbConnect(duckdb::duckdb(), ":memory:")
  dbSendQuery(con, sprintf("CREATE VIEW student AS SELECT * FROM read_csv('%s')", 
              "dataframe-practice/students.csv"))
  tbl(con, "student") |> filter(班级=="物理71") |> collect() |> head(5)
#+end_src

#+RESULTS:
|  1 | AB | 女 | 物理71 | 50626922811 |
|  3 | AD | 男 | 物理71 | 43865400582 |
|  7 | AH | 男 | 物理71 |  4295424729 |
| 12 | AM | 男 | 物理71 | 11391622912 |
| 20 | AU | 男 | 物理71 | 23090382020 |

* 回归分析
  :PROPERTIES:
  :EXPORT_FILE_NAME: pe
  :EXPORT_DATE: 2025-07-16 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习提示
HDF5 是工业标准，可在多种语言直接读取，例如 C、Fortran、Python 和 R。在 R 中读写 HDF5 的为 =rhdf5= ，把 HDF5 的结构化数组的 dataset 映射成 R 的 data.frame 处理，因为它们都是表格可自然对应。

*** 数据集下载
    - =lm-examples.tar.gz= 线性回归样例集
      #+begin_src bash
        wget http://hep.tsinghua.edu.cn/~orv/pd/lm-examples.tar.gz
        tar -xf lm-examples.tar.gz
      #+end_src

**** 安装 rhdf5
#+begin_src bash
  # Debian
  apt install r-bioc-rhdf5
#+end_src

*** DataFrame
- DataFrame （数据表格） 与 SQL 一样，是关系代数的具体实现
  - DataFrame 更动态，可联用更多丰富的语言功能

- GNU R 语言是统计学领域的编程语言
  - 提供了跨领域的与统计学高效的对话方式
**** ggplot2
- 把数据表格的列映射到图中的要素
  + 例如 x 轴、 y 轴、颜色等
    #+begin_src R
      ggplot(mtcars, aes(x=wt, y=hp)) + geom_point()
    #+end_src
**** dplyr 与 dbplyr
- 关系代数的基本操作对应到命令
  #+begin_src R
    students |> inner_join(longscores) |>
      group_by(班级, 作业) |> summarise(平均分=mean(分数))
  #+end_src
*** 关系代数工具组
#+beamer: \vspace{-1cm}
**** g                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.479
     :END:
     #+BEGIN_SRC dot :file relational.pdf
       digraph python {
       rankdir="BT";

       node [shape=box]
       R [label = "关系代数"]
       R -> H
       H [label = "复合数组\nHDF5表格"]
       D -> H[arrowhead=none]
       R -> D
       D [label = "DataFrame\n中型数据"]
       R -> S
       S [label = "SQL\n大型数据"]
       D -> S[arrowhead=none]
       {rank = same; H; S; D;}
       G -> R
       G[label = "绘图\n图形语法"]
       L -> R
       L[label = "推断\n回归分析"]
       }
     #+END_SRC

     
     #+attr_latex: :height 5.5cm
     #+RESULTS:
     [[file:relational.pdf]]
**** i                                                                :BMCOL:
     :PROPERTIES:
     :BEAMER_col: 0.52
     :END:
     - 以关系代数的数据形式为核心
       + 实现列的对称性
     - 工具设计和使用变得简单
       - 一行代码绘图
       - 一行代码回归
       - 类比：一行命令实现一个功能
       - 一次原则：只输入必要信息
       - 保证数据的透明：更易于理解
     - 人更能专注于高层次的概念与问题，不被细节湮没
**** 推论：数据分析最佳工具策略
- 原始数据尽快等价变换成关系代数形式：站在统计学与图形巨人的肩膀上
*** i 工具组                                                :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:

表格有列的对称性。在关系代数的实现中，我们能粗略地把 data.frame 划为中型数据集，SQL 划为大型数据集。在数据格式上，CSV 适合小型数据集，HDF5 受到关系代数影响，也是表格。在绘图时，可直接写一列依赖于另一列或者另两列，从而实现 grammar of graphics。

我们拿到了实验数据，要解读它，回归分析是常用方法。关系代数公理演绎出的体系吸纳了数据中共有的复杂成分，使得回归分析的形式描述简洁。在我们理解回归分析数学的理论后，具体分析的程序几乎都由一行代码完成。在探索过程中，会打很多命令，最终沉淀下来往往只有一行代码。

在课程的尾声，一个完整的技能体系浮现，包括数据处理、分析和绘图，其核心是关系代数。在接口不变的前提下，不管是 CSV、HDF5，还是 data.frame、SQL，都能视为关系代数的实现，在绘图和推断依托它们读取数据。当人类能只用一行代码实现推断，其优势就如同命令行一样，简洁的计算机语言表达解放了大脑，使之能专注于高层次的概念和问题。专注于“为什么要做这实验”的大问题，而不被淹没在实验数据的细节里。这是数据分析的“最佳工具”。

** 线性回归
大家在中学数学、中学生物理竞赛实验和大学物理实验中都接触过线性回归。在实验课上，一般有一个 Excel 表格，我们把数据填进去，得到回归系数、不确定度、显著系数。

我们目标给线性回归的形式化定义，并在 R 中以一行代码完成线性回归计算。
*** 概念
    - 复习：线性回归，最小二乘法
    | \(Y\) | \(x\) |
    |-------+-------|
    |     2 |     1 |
    |   5.5 |     3 |
    |   6.5 |     4 |
    |     9 |     7 |
    - \( y = a + b x + \epsilon, \epsilon \sim \mathcal{N}(0, \sigma^2) \)
    - \( Y = y - \epsilon\)，\(Y\) 和 \(\epsilon\) 是随机变量
    - \( (Y, x) \) 是关系，组成表格
    
    - 表格 DataFrame 之上自然进行回归分析
*** i 概念                                                  :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
线性回归目标是找一个变量之间的“关系”。我们数据按关系代数写成表格，有\(x\)自变量和\(Y\)因变量。线性回归之中的暗含假设是\(x\)小写没有不确定度，是普通变量，而\(Y\)大写有不确定度，是随机变量。虽然实验测量有不确定度，但通过等价变换，在高斯分布误差的假设下，\(x\)的不确定度能都由\(Y\)来表达。此式是线性回归的数学形式，随机变量\(Y\)等于截距系数\(a\)加斜率系数\(b\)乘以\(x\)，再加上残差。残差满足高斯分布，是线性关系解释不了的部分。

表格是关系代数具体表现，每行给出\(Y\)和\(x\)的一一对应关系。即， \(Y_i = a + b x_i + \epsilon\)。回归分析具体是把\(a\)和\(b\)求出来，例如通过变动\(a, b\)使得残差平方和\(\sum_i (Y_i - a - b x_i)^2\)最小。这是大家熟悉“最小二乘法”。

*** 读入例子：书的重量
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.55
:END:
    #+begin_src R :session pd :results output
      books = read.csv("lm-examples/books.csv",
                       row.names=1)
      books
    #+end_src

    #+RESULTS:
    #+begin_example
       volume area weight cover
    1     885  382    800    hb
    2    1016  468    950    hb
    3    1125  387   1050    hb
    4     239  371    350    hb
    5     701  371    750    hb
    6     641  367    600    hb
    7    1228  396   1075    hb
    8     412    0    250    pb
    9     953    0    700    pb
    10    929    0    650    pb
    11   1492    0    975    pb
    12    419    0    350    pb
    13   1010    0    950    pb
    14    595    0    425    pb
    15   1034    0    725    pb
    #+end_example
**** e                                                                :BMCOL:
 :PROPERTIES:
 :BEAMER_col: 0.45
 :END:
- =hb= 代表 hard back ，硬质纸壳封面封底
- =pb= 代表 paper back ，软纸封面封底
- =area= 代表封面的面积
- =volume= 代表书的页数

*** i 读入例子：书的重量                                    :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
现在来在 R 中执行最小二乘法。

*** hard back：硬纸壳封面
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+attr_latex: :height 6cm
[[./fig/hardback1.jpg]]

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+attr_latex: :height 6cm
[[./fig/hardback2.jpg]]

*** paper back: 普通纸封面
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

[[./fig/paperback1.jpg]]

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

[[./fig/paperback2.jpg]]

*** 绘制重量与页数的关系
#+begin_src R :session pd :file fig/scatter.pdf :results graphics file :width 7 :height 5
  plot(weight ~ volume, books)
#+end_src

#+attr_latex: :height 5cm
#+RESULTS:
[[file:fig/scatter.pdf]]

*** 直线表征规律
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+beamer: \only<1>{
#+Attr_LaTeX: :height 4cm
file:fig/b_scatter-nc.pdf
#+beamer: }

#+beamer: \only<2->{
#+Attr_LaTeX: :height 4cm
[[file:fig/b_scatter-line.pdf]]
#+beamer: }

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

- 变量\(x\) 和 \(y\) 于图中呈\alert{直线关系}。
#+beamer: \onslide<2->
- 欲求出与各点最\alert{匹配}的直线，
  \[ y = a + b x \]
  匹配：横向、纵向@@beamer:\visible<3->{\checkmark \alert{预测}}@@、垂线？
#+beamer: \onslide<3->
- 记观测值为 \((x_1, y_1), \cdots, (x_N, y_N)\)

**** 最小二乘法@@beamer:@@估计 \(a,b\)
取\alert{残差平方和} \( \displaystyle{E^2(a, b) = \sum_{i=1}^N [y_i - (a + b x_i)]^2} \) 刻画点与线的差异，@@beamer:\onslide<4->@@

以使 \(E^2\) 最小时的 \(a, b\) 为估计值 \(\displaystyle{\hat{a}, \hat{b} = \underset{a, b}{\arg\min} E^2(a, b)} \)

*** 最小二乘法的求解
\(\displaystyle{\hat{a}, \hat{b} = \underset{a, b}{\arg\min} E^2(a, b)} \) 有多种解法：配平方；求导 \(\displaystyle{\frac{\partial E^2}{\partial(a, b)} = 0}\)。

#+beamer: \pause
**** 线性代数视角
把残差记为 \(\epsilon_i  = y_i - (a + b x_i)\)，有 \( y_i = 1 a + x_i b + \epsilon_i \)，@@beamer:\pause@@ 写成 \(N\) 维列向量，
   #+begin_export latex
   \begin{equation*}
     \begin{aligned}
       \left(
         \begin{array}{c}
           y_1 \\
           y_2 \\
           \vdots \\
           y_N
         \end{array}
       \right) & =
         \left(
           \begin{array}{c}
             1 \\
             1 \\
             \vdots \\
             1
           \end{array}
         \right) a + \left(
           \begin{array}{c}
             x_1 \\
             x_2 \\
             \vdots \\
             x_N
           \end{array}
         \right) b
       & + & \left(
         \begin{array}{c}
           \epsilon_1 \\
           \epsilon_2 \\
           \vdots \\
           \epsilon_N
         \end{array}
       \right) \\
       \visible<4>{
       \vec{Y} & = (\vec{X}_1, \vec{X}_2)
       \left(
       \begin{array}{c}
       a \\
       b
       \end{array}
       \right)
       + \vec{E}
       }
     \end{aligned}
   \end{equation*}
   #+end_export
#+beamer: \visible<4>{
- 残差平方和 \(E^2 = \sum \epsilon_i^2\) 是 \(\vec{E}\) 欧几里得距离的平方 \(\lVert \vec{E} \rVert^2\)
#+beamer: }
*** 向子空间投影
#+begin_export latex
\(\displaystyle{\vec{Y} = (\vec{X}_1, \vec{X}_2) \left(
      \begin{array}{c}
        a \\
        b
      \end{array}
    \right)
    + \vec{E}}\)，
#+end_export
当 \(a, b\) 为何值能使\(\lVert \vec{E} \rVert^2\) 最小？

#+beamer: \pause
- \(N\) 维线性空间中，@@beamer: \onslide<3->{@@当 \(a \vec{X}_1 + b \vec{X}_2 \) 是 \(\vec{Y}\) 向子空间的投影时，\(\lVert \vec{E} \rVert^2\) 最小。@@beamer: }@@
  #+begin_export latex
  \tdplotsetmaincoords{70}{200}
  \begin{tikzpicture}[scale = 2.5,thick,tdplot_main_coords]
  \coordinate (A1) at (0,0,0);
  \coordinate (A2) at (2,0,0);
  \coordinate (A3) at (2,2,0);
  \coordinate (A4) at (0,2,0);

  \coordinate (S) at (0.5,0.5,0);
  \coordinate (E) at (0.5,3,1.5);
  \coordinate (P) at (1.15,1.15,0);
  \fill[fill=blue!20] (A1) -- (A2) -- (A3)  -- (A4) -- cycle;
  \draw[black, -latex] (S) -- (E);
  \draw[black!80, -latex] (S) -- (P);
  \draw[black!50,dashed] (E) -- (P);
  \node[above] at (E) {$\vec{Y}$};
  \node[below] at (P) {$a \vec{X}_1 + b \vec{X}_2$};

  \draw[red!70] (2,2.3,1.2) node[above] 
   {$\vec{E} = \vec{Y} - (a \vec{X}_1 + b \vec{X}_2)$取极小} to [out=-90,in=180] ($0.5*($(E)+(P)$)$);

   \draw[red!70] (2.3,2.3,0.4) node[above] 
   {$\vec{X}_1$ 与 $\vec{X}_2$ 张成2维子空间} to [out=-90,in=90] ($(A3)+(-0.2,-0.2,0)$);
  \end{tikzpicture}
  #+end_export
  #+beamer: \vspace{-0.5cm}\onslide<4->
- 因此 \(\vec{E}\) 必与子空间垂直
  #+begin_export latex
  \begin{equation*}
    \begin{aligned}
      \left\{
      \begin{array}{cc}
      \vec{E} \cdot \vec{X}_1 & = \only<5>{\displaystyle{\sum_i [y_i - (a + b x_i)] 1 = \frac{\partial E^2}{\partial a}}=} 0 \\
      \vec{E} \cdot \vec{X}_2 & = \only<5>{\displaystyle{\sum_i [y_i - (a + b x_i)] x_i = \frac{\partial E^2}{\partial b}}=} 0
      \end{array}\right.
    \end{aligned}
  \end{equation*}
  #+end_export
    
*** 线性回归
    #+begin_src R :session pd :file :results output
      lm.books = lm(weight ~ volume, books)
      summary(lm.books)
    #+end_src

    #+RESULTS:
    #+begin_example

    Call:
    lm(formula = weight ~ volume, data = books)

    Residuals:
        Min      1Q  Median      3Q     Max 
    -189.97 -109.86   38.08  109.73  145.57 

    Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
    (Intercept) 107.67931   88.37758   1.218    0.245    
    volume        0.70864    0.09746   7.271 6.26e-06 ***
    ---
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

    Residual standard error: 123.9 on 13 degrees of freedom
    Multiple R-squared:  0.8026,	Adjusted R-squared:  0.7875 
    F-statistic: 52.87 on 1 and 13 DF,  p-value: 6.262e-06
    #+end_example
*** 拟合结果解读
- \( y = a + b x + \epsilon \)
  + \(\hat{a} = 108\) 不显著
  + \(\hat{b} = 0.71\) 显著
- 回归方程为

  \( y = 108 + 0.71 x + \epsilon \)

- 显著度
  + \(\hat{a}\) 和 \(\hat{b}\) 都服从 \(t\)-分布

#+begin_example
    Coefficients:
                 Estimate Std. Error t value Pr(>|t|)    
    (Intercept) 107.67931   88.37758   1.218    0.245    
    volume        0.70864    0.09746   7.271 6.26e-06 ***
    ---
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
#+end_example

*** 显著性检验的必要性

即使两个量毫无关联，仍可（流于形式地）做最小二乘法。

**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd :file plot/uncorrelated.pdf :results graphics file :width 5 :height 4 :family GB1 :exports none
  set.seed(98)
  x = rnorm(500) # 从标准正态分布抽取 1000 个数
  y = rnorm(500)
  par(mar = c(4.5, 4.5, 0.8, 0.8))
  lm.xy = lm(y ~ x)
  plot(y ~ x, cex.lab=2, cex.axis=2)
  abline(lm.xy, lwd=4, col="blue")
#+end_src

#+RESULTS:
[[file:plot/uncorrelated.pdf]]

#+Attr_LaTeX: :height 5cm
[[file:plot/uncorrelated.pdf]]


**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

#+begin_src R :session pd :file plot/thermistor-lm-zoomout.pdf :results graphics file :width 5 :height 4 :family GB1 :exports results
  par(mar = c(4.5, 4.5, 0.8, 0.8))
  plot(1/(温度 + 273.15) ~ log(电阻), d, ylab="K/T", xlab="log(R/kΩ)", cex.lab=2, cex.axis=2, ylim=c(0.0000, 0.0068))
  abline(lm.therm, col="blue", lwd=4)
#+end_src

#+beamer: \visible<3->{
#+Attr_LaTeX: :height 5cm
#+RESULTS:
[[file:plot/thermistor-lm-zoomout.pdf]]
#+beamer: }

**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+beamer: \pause
- 必须对回归结果进行\alert{假设检验}，才能理解回归系数的含义。
- 回归所得的 \(b\) ，与 \(0\) 有显著差异吗？

*** 平方和分解
**** 假设：残差服从正态分布
\[ \epsilon_i = y_i - (a + bx_i) \sim N(0, \sigma^2) \]

经过最小二乘法获得的最佳 \(a, b\) 记为 \(\hat{a}, \hat{b}\)
\vspace{0.3em}
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.65
:END:
记 \( \hat{y}_i = \hat{a} + \hat{b} x_i \)，称为回归的\alert{预测值}：
#+begin_export latex
    \begin{equation*}
      \underbrace{\sum_{i=1}^N (y_i - \overline{y})^2}_{S_T \text{偏差平方和}} = \underbrace{\sum_{i=1}^N (y_i - \hat{y}_i)^2}_{S_E \text{误差平方和}} + \underbrace{\sum_{i=1}^N(\overline{y} - \hat{y}_i)^2}_{S_A \text{效应平方和}}
    \end{equation*}
#+end_export
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.35
:END:

#+begin_export latex
  \tdplotsetmaincoords{70}{200}
  \begin{tikzpicture}[scale = 2,thick,tdplot_main_coords]
  \coordinate (A1) at (0,0,0);
  \coordinate (A2) at (2,0,0);
  \coordinate (A3) at (2,2,0);
  \coordinate (A4) at (0,2,0);

  \coordinate (S) at (0.5,0.5,0);
  \coordinate (E) at (0.5,3,1.5);
  \coordinate (P) at (1.15,1.15,0);
  \fill[fill=blue!20] (A1) -- (A2) -- (A3)  -- (A4) -- cycle;
  \draw[black, -latex] (S) -- (E);
  \draw[black!80, -latex] (S) -- (P);
  \draw[black!50,dashed] (E) -- (P);
  \node[below] at (S) {};
  \node[above] at (E) {};
  \node[below] at (P) {};
  \node[left] at ($0.5*($(E)+(P)$)$) {$S_E$};
  \node[below] at ($0.5*($(P)+(S)$)$) {$S_A$};
  \node[above right] at ($0.5*($(E)+(S)$)$) {$S_T$};
  \end{tikzpicture}
#+end_export

*** \(R^2\) 值
\[ R^2 = \frac{S_A}{S_T} \]
越接近于 \(1\) ，越说明 \(S_A\) 主导 \(S_T\)，相关性越强。
#+beamer: \pause
**** 假设检验问题
- 任意两个变量的一组观察值 \(\{(x_i, y_i)\}\) 都可用最小二乘法形式上求得 \(y\) 对 \(x\)的回归方程
- 若\(y\) 与\(x\) 没有线性相关关系，回归方程无意义
  #+beamer: \pause
- 考察 \(y\) 与 \(x\) 间是否确有线性相关关系，是回归效果的 *检验问题* 。

*** \(F\)-检验
    \[ H_0: b=0, H_1: b \neq 0 \]
    #+begin_export latex
    \begin{equation*}
      \underbrace{\sum_{i=1}^n (y_i - \overline{y})^2}_{S_T, \nu_T = n-1} = \underbrace{\sum_{i=1}^n (y_i - \hat{y}_i)^2}_{S_E: \nu_E=n-p} + \underbrace{\sum_{i=1}^n(\overline{y} - \hat{y}_i)^2}_{S_M: \nu_M = p-1} - \underbrace{\sum_{i=1}^n(y_i - \hat{y}_i)(\overline{y} - \hat{y}_i)}_0
    \end{equation*}
    #+end_export
    - \(S_M\) :: 模型变差。进行线性回归的预测值与 \(Y\) 样本均值的差异
    - \(p\) :: 回归参数个数，一元线数回归取 \(2\)

    \[ \frac{S_M/1}{S_E/(n-2)} = F \sim F(1, n-2) \]
    \[ R^2 = \frac{S_M}{S_T} \]

    #+begin_example
    Multiple R-squared:  0.8026,	Adjusted R-squared:  0.7875 
    F-statistic: 52.87 on 1 and 13 DF,  p-value: 6.262e-06
    #+end_example      
*** 拟合效果图
#+begin_src R :session pd :file fig/lm.pdf :results graphics file :width 7 :height 5
  library(ggplot2)
  p = ggplot(books, aes(x=volume, y=weight)) + geom_point()
  print(p + geom_smooth(method="lm"))
#+end_src

#+attr_latex: :height 5cm
#+RESULTS:
[[file:fig/lm.pdf]]

=ggplot2= 中内嵌了 =lm= 自动给出回归结果。
*** 拟合优度的制图判定
    #+begin_src R :session pd :file fig/lm-internal.pdf :results graphics file :width 7 :height 5
      plot(lm.books)
    #+end_src
- Standardized residual :: 经过期望平移和标准差伸缩后的量，服从标准正态分布。
- Theoretical Quantiles :: 标准正态分布。
**** 残差图                                                           :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
    #+attr_latex: :height 5cm :options page=1
    #+RESULTS:
    [[file:fig/lm-internal.pdf]]

**** 正态分布检验                                                     :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+attr_latex: :height 5cm :options page=2
#+RESULTS:
[[file:fig/lm-internal.pdf]]

*** 平移缩放关系
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:BEAMER_opt: t
:END:
#+attr_latex: :height 5cm :options page=3
#+RESULTS:
[[file:fig/lm-internal.pdf]]

标准化的残差图

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:BEAMER_opt: t
:END:
#+attr_latex: :height 5cm :options page=4
#+RESULTS:
[[file:fig/lm-internal.pdf]]

Cook scaling-location 图，检验残差大小的一致性

*** 回归预测
    #+begin_src R :session pd :file fig/prediction.pdf :results graphics file :width 5 :height 5
      books$predicted = predict(lm.books)
      plot(weight~predicted, books)
      abline(0, 1)
    #+end_src

    #+attr_latex: :height 5cm
    #+RESULTS:
    [[file:fig/prediction.pdf]]

*** 模型矩阵
- 细致描述变量依赖，扩展公式表达。使用 =model.matrix= 厘清内部机理
#+begin_src R :results output :session pd
model.matrix(weight ~ volume, books)
#+end_src

#+RESULTS:
#+begin_example
   (Intercept) volume
1            1    885
2            1   1016
3            1   1125
4            1    239
5            1    701
6            1    641
7            1   1228
8            1    412
9            1    953
10           1    929
11           1   1492
12           1    419
13           1   1010
14           1    595
15           1   1034
attr(,"assign")
[1] 0 1
#+end_example

** 多元线性回归
*** 多个变量
- 线性回归可以推广到多个变量

**** 还可以包含离散变量
     - 每个离散变量，实际上对应多个自由参数，个数等于离散变量的取值数
     #+begin_src R :session pd :results output
       books$cover = as.factor(books$cover)
       books[c("weight", "volume", "cover")]
     #+end_src

     #+RESULTS:
     #+begin_example
        weight volume cover
     1     800    885    hb
     2     950   1016    hb
     3    1050   1125    hb
     4     350    239    hb
     5     750    701    hb
     6     600    641    hb
     7    1075   1228    hb
     8     250    412    pb
     9     700    953    pb
     10    650    929    pb
     11    975   1492    pb
     12    350    419    pb
     13    950   1010    pb
     14    425    595    pb
     15    725   1034    pb
     #+end_example

*** 填加自变量
- 书的包装有什么影响？画图探索
#+begin_src R :session pd :file fig/covers.pdf :results graphics file :width 7 :height 5
  print(p + aes(color=cover))
#+end_src

#+attr_latex: :height 5cm
#+RESULTS:
[[file:fig/covers.pdf]]

*** 多线性回归
    #+begin_src R :session pd :results output
      lm2.books <- lm(weight ~ volume + cover, books)
      summary(lm2.books)
    #+end_src

    #+RESULTS:
    #+begin_example

    Call:
    lm(formula = weight ~ volume + cover, data = books)

    Residuals:
        Min      1Q  Median      3Q     Max 
    -110.10  -32.32  -16.10   28.93  210.95 

    Coefficients:
                  Estimate Std. Error t value Pr(>|t|)    
    (Intercept)  197.96284   59.19274   3.344 0.005841 ** 
    volume         0.71795    0.06153  11.669  6.6e-08 ***
    coverpb     -184.04727   40.49420  -4.545 0.000672 ***
    ---
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

    Residual standard error: 78.2 on 12 degrees of freedom
    Multiple R-squared:  0.9275,	Adjusted R-squared:  0.9154 
    F-statistic: 76.73 on 2 and 12 DF,  p-value: 1.455e-07
    #+end_example

*** 多线性回归结果图
#+begin_src R :session pd :file fig/lm2.pdf :results graphics file :width 7 :height 5
  print(p + aes(color=cover) + geom_smooth(method="lm"))
#+end_src

#+attr_latex: :height 5cm
#+RESULTS:
[[file:fig/lm2.pdf]]
    
*** 线性回归的推广
- 令 \(\vec{X}_0 = \vec{1}, \vec{X}_1 = \vec{x}, \vec{X}_2 = \vec{x^2}\)：
  #+begin_export latex
  \tdplotsetmaincoords{70}{200}
  \begin{tikzpicture}[scale = 2.5,thick,tdplot_main_coords]
  \coordinate (A1) at (0,0,0);
  \coordinate (A2) at (2,0,0);
  \coordinate (A3) at (2,2,0);
  \coordinate (A4) at (0,2,0);

  \coordinate (S) at (0.5,0.5,0);
  \coordinate (E) at (0.5,3,1.5);
  \coordinate (P) at (1.15,1.15,0);
  \fill[fill=blue!20] (A1) -- (A2) -- (A3)  -- (A4) -- cycle;
  \draw[black, -latex] (S) -- (E);
  \draw[black!80, -latex] (S) -- (P);
  \draw[black!50,dashed] (E) -- (P);
  \node[above] at (E) {$\overrightarrow{Y}$};
  \node[below] at (P) {$b_0 \overrightarrow{X_0} + b_1 \overrightarrow{X_1} + b_2\overrightarrow{X_2}$};

  \draw[red!70] (2,2.3,1.2) node[above] 
   {$\vec{E} = \overrightarrow{Y} - (b_0 \overrightarrow{X_0} + b_1 \overrightarrow{X_1} + b_2 \overrightarrow{X_2})$} to [out=-90,in=180] ($0.5*($(E)+(P)$)$);

   \draw[red!70] (2.3,2.3,0.4) node[above] 
   {$\overrightarrow{X_0}, \overrightarrow{X_1}$ 与 $\overrightarrow{X_2}$ 张成子空间} to [out=-90,in=90] ($(A3)+(-0.2,-0.2,0)$);
  \end{tikzpicture}
  #+end_export

#+beamer: \pause
**** 推广
- 替换投影子空间的基
- 填加新的基，构成更高维的子空间，实现多元线性回归。

*** 多元线性回归概念
- 一组观测值 \(\vec{Y}\) 若与多组自变量 \(\vec{X}_0, \vec{X}_1, \vec{X}_2, \cdots, \vec{X}_p\) 有关，

  #+begin_export latex
  \begin{equation*}
    \begin{aligned}
      \vec{Y} = (\vec{X}_0, \vec{X}_1, \vec{X}_2, \cdots, \vec{X}_p) \left(
        \begin{array}{c}
          b_0\\        
          b_1\\
          b_2\\
          \vdots\\
          b_p
        \end{array}
      \right) + \vec{E}
    \end{aligned}
  \end{equation*}
  #+end_export

- 可以使用最小二乘法得到 \(\hat{b}_0, \hat{b}_1, \hat{b}_2, \cdots, \hat{b}_p\).

*** 双变量回归情形
    #+begin_src R :results output :session pd
model.matrix(weight ~ volume + cover, books)
    #+end_src

    #+RESULTS:
    #+begin_example
       (Intercept) volume coverpb
    1            1    885       0
    2            1   1016       0
    3            1   1125       0
    4            1    239       0
    5            1    701       0
    6            1    641       0
    7            1   1228       0
    8            1    412       1
    9            1    953       1
    10           1    929       1
    11           1   1492       1
    12           1    419       1
    13           1   1010       1
    14           1    595       1
    15           1   1034       1
    attr(,"assign")
    [1] 0 1 2
    attr(,"contrasts")
    attr(,"contrasts")$cover
    [1] "contr.treatment"
    #+end_example
*** 去除截距情形
    #+begin_src R :results output :session pd
model.matrix(weight ~ volume + cover - 1, books)
    #+end_src

    #+RESULTS:
    #+begin_example
       volume coverhb coverpb
    1     885       1       0
    2    1016       1       0
    3    1125       1       0
    4     239       1       0
    5     701       1       0
    6     641       1       0
    7    1228       1       0
    8     412       0       1
    9     953       0       1
    10    929       0       1
    11   1492       0       1
    12    419       0       1
    13   1010       0       1
    14    595       0       1
    15   1034       0       1
    attr(,"assign")
    [1] 1 2 2
    attr(,"contrasts")
    attr(,"contrasts")$cover
    [1] "contr.treatment"
    #+end_example

*** 去除截距拟合
    #+begin_src R :results output :session pd
      lm3.books = lm(weight ~ volume + cover - 1, books)
      summary(lm3.books)
    #+end_src

    #+RESULTS:
    #+begin_example

    Call:
    lm(formula = weight ~ volume + cover - 1, data = books)

    Residuals:
        Min      1Q  Median      3Q     Max 
    -110.10  -32.32  -16.10   28.93  210.95 

    Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
    volume    0.71795    0.06153  11.669  6.6e-08 ***
    coverhb 197.96284   59.19274   3.344  0.00584 ** 
    coverpb  13.91557   59.45408   0.234  0.81889    
    ---
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

    Residual standard error: 78.2 on 12 degrees of freedom
    Multiple R-squared:  0.9914,	Adjusted R-squared:  0.9892 
    F-statistic: 459.5 on 3 and 12 DF,  p-value: 1.207e-12
    #+end_example

** 模型选择
*** 探索性分析
     #+BEGIN_SRC dot :file regression.pdf
       digraph regression {

       node [shape=box]
       G[label = "绘图\n图形语法"]
       L -> G[label="直观\n验证"]
       L[label = "推断\n回归分析"]
       G -> L[label="发现\n新趋势"]
       P[label=预测新现象]
       L -> P
       E[label="设计新实验\n整理新数据"]
       P -> E
       E -> G[label="关系代数"]
       }
     #+END_SRC

     #+attr_latex: :height 7cm
     #+RESULTS:
     [[file:regression.pdf]]
*** Occam's razor and Von Neumann's elephant
如果关于同一个问题有许多种理论，每一种都能作出同样准确的预言，那么应该挑选其中使用假定最少的。

**** elephant                                                  :B_alertblock:
:PROPERTIES:
:BEAMER_env: alertblock
:END:
With four parameters I can fit an elephant. With five I can make him wiggle his trunk.

#+attr_latex: :height 4.8cm
[[./fig/elephant-parameters.png]]

#+beamer: {\scriptsize https://www.r-bloggers.com/2011/06/a-winking-pink-elephant/}

*** Akaike's An Information Criterion
- 赤池信息判据：应当用多少个变量描述模型？
  变量越多，拟合越精确；变量越少，模型越简明。

\[ \mathrm{AIC} = 2 n - 2 \log \mathcal{L} \]
其中 \(n\) 是变量个数，\(\mathcal{L}\) 是拟合似然函数 (likelihood)
 
**** R 中的 AIC
#+begin_src R :session pd :results output
  AIC(lm.books) # weight ~ volume
  AIC(lm2.books) # weight ~ volume + cover
  AIC(lm3.books) # weight ~ volume + cover - 1
#+end_src

#+RESULTS:
: [1] 191.016
: [1] 177.9986
: [1] 177.9986

- =lm2= 与 =lm3= 等价，两者的 =model.matrix= 可用通过线性变换等价互换

*** 改进模型的灵感
- 回归结果说明 paper back 不应该有截距，只有 hard back 才有截距。
  + 使用公式已经无法表达这个需求

#+begin_example
    Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
    volume    0.71795    0.06153  11.669  6.6e-08 ***
    coverhb 197.96284   59.19274   3.344  0.00584 ** 
    coverpb  13.91557   59.45408   0.234  0.81889    
#+end_example

*** 使用 =model.matrix= 改进模型
- 直接修改 =model.matrix=
  #+begin_src R :session pd
    model4 <- model.matrix(weight ~ volume + cover - 1, books)
    model4 <- model4[,1:2]
  #+end_src

  #+RESULTS:
  |  885 | 1 |
  | 1016 | 1 |
  | 1125 | 1 |
  |  239 | 1 |
  |  701 | 1 |
  |  641 | 1 |
  | 1228 | 1 |
  |  412 | 0 |
  |  953 | 0 |
  |  929 | 0 |
  | 1492 | 0 |
  |  419 | 0 |
  | 1010 | 0 |
  |  595 | 0 |
  | 1034 | 0 |

*** 使用 =model4= 回归
#+begin_src R :session pd :results output
  lm4.books <- lm(weight ~ model4, books)
  AIC(lm4.books)
  summary(lm4.books)
#+end_src

#+RESULTS:
#+begin_example
[1] 176.0669

Call:
lm(formula = weight ~ model4 - 1, data = books)

Residuals:
     Min       1Q   Median       3Q      Max 
-115.208  -32.277   -9.768   30.447  211.991 

Coefficients:
               Estimate Std. Error t value Pr(>|t|)    
model4volume    0.73070    0.02755  26.522 1.05e-12 ***
model4coverhb 187.33601   36.57152   5.122 0.000196 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 75.3 on 13 degrees of freedom
Multiple R-squared:  0.9913,	Adjusted R-squared:   0.99 
F-statistic: 743.2 on 2 and 13 DF,  p-value: 3.954e-14
#+end_example

*** 试验使用 =area=
- 分析：有否必要把 =area= 加入回归？
#+begin_src R :results output :session pd
  lm5.books = lm(weight ~ volume + area - 1, books)
  summary(lm5.books) # AIC = 175.9741
#+end_src

#+RESULTS:
#+begin_example
Call:
lm(formula = weight ~ volume + area - 1, data = books)

Residuals:
    Min      1Q  Median      3Q     Max 
-112.53  -28.73  -10.52   24.62  213.80 

Coefficients:
       Estimate Std. Error t value Pr(>|t|)    
volume  0.72891    0.02767  26.344 1.15e-12 ***
area    0.48087    0.09344   5.146 0.000188 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 75.07 on 13 degrees of freedom
Multiple R-squared:  0.9914,	Adjusted R-squared:  0.9901 
F-statistic: 747.9 on 2 and 13 DF,  p-value: 3.799e-14
#+end_example

** 热敏电阻
*** 电子体温计
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:
- 电子体温计使用方便
#+Attr_LaTeX: :height 4cm
[[./fig/thermotop.jpg]]

#+beamer: \onslide<3-> {
***** 工作原理：金属氧化物热敏电阻
- 负温度系数型：随着温度升高，电阻值变小

***** i                                                     :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+beamer: }

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:

#+beamer: \vspace{-0.2cm}\visible<2-> {
#+Attr_LaTeX: :height 7.5cm
[[./fig/thermistor-Hg.png]]
#+beamer: }

*** 热敏电阻的规律
#+begin_src R :session pd :results silent :exports none
  library(showtext)
  library(dplyr)
  showtext.auto()
  d0 = read.table("thermister.csv", col.names=c("温度0", "电阻0"))
  d = d0 |> rowwise() |> reframe(温度=rnorm(10, 温度0, 2), 电阻=exp(rnorm(10, log(电阻0), 0.2)))
  d$温度 = d$温度
#+end_src

#+begin_src R :session pd :file plot/thermister.pdf :results graphics file :width 7 :height 5 :family GB1 :exports none
  par(mar = c(4.5, 4.5, 0.8, 0.8))
  plot(温度 ~ 电阻, data=d, ylab="t/°C", xlab="R/kΩ", cex.lab=2, cex.axis=2, cex.main=2, cex.sub=2)
#+end_src

#+RESULTS:
[[file:plot/thermister.pdf]]

#+begin_export latex
\includegraphics[height=4.5cm]{plot/thermister.pdf}
\onslide<2>{\includegraphics[height=4.5cm]{plot/thermister-linear.pdf}}
#+end_export

#+begin_src R :session pd :file plot/thermister-linear.pdf :export results :results graphics file :width 7 :height 5 :family GB1 :exports none
  par(mar = c(4.5, 4.5, 0.8, 0.8))
  plot(1/(温度 + 273.15) ~ log(电阻), data=d, ylab="K/T", xlab="log(R/kΩ)", cex.lab=2, cex.axis=2, cex.sub=2)
#+end_src

#+RESULTS:
[[file:plot/thermister-linear.pdf]]

- 温度 \(t\) 与电阻 \(R\) 有对应关系

#+beamer: \onslide<2>{
- 变成直线 \( \displaystyle{t \to \frac{1}{t + \SI{273.15}{K}}}\) 简称为 \(y\)， \(\displaystyle{R \to \log \frac{R}{\si{\kilo\ohm}}} \) 简称为 \(x\)。
#+beamer: }

#+beamer: {\tiny Calibration and self-validation of thermistors for high-precision temperature measurements, Measurement Vol 76, 2015}

*** 把非线性关系线性化
#+attr_beamer: :overlay <+->
- 在许多实际问题中，两个变量之间并不一定是线性关系，而是某种曲线关系，应该用曲线来拟合.
- 可以进行适当的变量代换，把它线性化，这样就把一个非线性回归问题化为线性回归问题而得以解决.
**** 步骤
#+attr_beamer: :overlay <+->
1. 根据样本数据，在直角坐标系中画出散点图
2. 根据散点图，推测出\(Y\)与\(x\)之间的函数关系
3. 选择适当的坐标变换，使之变成线性关系
4. 用线性回归方法求出线性回归方程
5. 返回到原来的函数关系，得到要求的回归方程

*** R 求解回归方程
#+begin_src R :session pd :results output :exports both
  lm.therm = lm(1/(温度 + 273.15) ~ log(电阻), d)
  summary(lm.therm)
#+end_src

#+RESULTS:
#+begin_example

Call:
lm(formula = 1/(温度 + 273.15) ~ log(电阻), data = d)

Residuals:
       Min         1Q     Median         3Q        Max 
-1.662e-04 -3.961e-05 -5.900e-07  3.852e-05  1.693e-04 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) 3.349e-03  2.571e-06 1302.50   <2e-16 ***
log(电阻)   2.305e-04  3.387e-06   68.06   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 5.349e-05 on 438 degrees of freedom
Multiple R-squared:  0.9136,	Adjusted R-squared:  0.9134 
F-statistic:  4632 on 1 and 438 DF,  p-value: < 2.2e-16
#+end_example
*** 求解回归方程
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:BEAMER_opt: t
:END:

#+begin_export latex
\begin{equation*}
  \left\{\begin{aligned}
    \hat{a} = \num{3.353(3)e-3}\\
    \hat{b} = \num{2.364(35)e-4}
  \end{aligned}\right.
\end{equation*}
#+end_export

\[ y = \hat{a} + \hat{b} x \]
#+begin_src R :session pd :file plot/thermistor-lm.pdf :results graphics file :width 7 :height 5 :family GB1 :exports results
  par(mar = c(4.5, 4.5, 0.8, 0.8))
  plot(1/(温度 + 273.15) ~ log(电阻), d, ylab="K/T", xlab="log(R/kΩ)", cex.lab=2, cex.axis=2)
  abline(lm.therm, col="blue", lwd=4)
#+end_src

#+Attr_LaTeX: :height 4.5cm
#+RESULTS:
[[file:plot/thermistor-lm.pdf]]

*** \(t\) 检验
检验假设 \( \displaystyle{H_0: b=0, H_1: b \neq 0}\)
#+attr_beamer: :overlay <+->
- \(\hat{b}\) 满足 \( \displaystyle{\hat{b} \sim N\left(b, \frac{\sigma^2}{L_{xx}}\right)} \) 其中\( \displaystyle{L_{xx} = \sum_{i=1}^n(x_i - \overline{x})^2 = \sum_{i=1}^n x_i^2 - n \overline{x}} \)
- 因此如果原假设成立，\(\hat{b}\sqrt{L_{xx}} / \sigma \sim N(0,1)\)，\(Q_e / \sigma^2 \sim \chi^2(n-2)\)
  #+begin_export latex
  \begin{equation*}
    \frac{\hat{b}\sqrt{L_{xx}}/\sigma}{\sqrt{\frac{Q_e /\sigma^2}{n-2}}} =  \frac{\hat{b}\sqrt{L_{xx}}}{\sqrt{\frac{Q_e}{n-2}}} = t \sim t(n-2)
  \end{equation*}
  #+end_export
- 选取拒绝域 \(\displaystyle{|t| \geq t_{\alpha/2}(n-2)}\) 进行 \(t\) 检验。

**** 区间估计
类似 \(\hat{b}\)， \(\hat{a}\) 以及 \(\hat{Y} = \hat{a} + \hat{b}x\) 都可经线性变换构造 \(t\) 分布统计量，进行区间估计。
*** 热敏电阻的更精确模型
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+Attr_LaTeX: :height 4.5cm
#+RESULTS:
[[file:plot/thermistor-lm.pdf]]
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
\[ \frac{K}{T} = a + b \log \frac{R}{\si{\kilo\ohm}} \]
\[ y = a + bx \]
**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+beamer: \pause
- 加入更高阶项，可以描述更复杂的关系。

\[ \frac{K}{T} = b_0 + b_1 \log \frac{R}{\si{\kilo\ohm}} + b_2 \left(\log \frac{R}{\si{\kilo\ohm}}\right)^2 + b_3 \left(\log \frac{R}{\si{\kilo\ohm}}\right)^3 \cdots \]

- 如何确定高阶项的系数？
*** 热敏电阻的多元线性回归
\[ \alert{\frac{K}{T} = \num{3.326e-3} + \num{3.641e-3} \log \frac{R}{\si{\kilo\ohm}} \num{-3.624e-4} \left(\log \frac{R}{\si{\kilo\ohm}}\right)^3} \]

#+beamer: {\scriptsize
| 系数     | 值                       | 显著？ |
|---------+-------------------------+-------|
| \(b_0\) | \num{3.326(2)e-3}       |   是    |
| \(b_1\) | \num{3.641(51)e-03}     |   是    |
| \(b_2\) | \num{-1.112(50730)e-06} |   否    |
| \(b_3\) | \num{-3.624(507)e-04}   |   是    |
#+beamer: } \pause

**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.45
:END:
#+beamer: \vspace{-0.5cm} \visible<2->{
#+attr_latex: :height 4.5cm
[[file:plot/thermistor-lm-r1.pdf]]
#+beamer: }
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.55
:END:
- 红色线对应 Starnhart-Hart 公式。
- 参数越多，拟合得越好，但模型越复杂。

#+beamer: {\scriptsize Steinhart and Hart \textit{Calibration curves for thermistors}, 1968}

#+begin_src R :session pd :results output verbatim :exports none
  lm2.therm = lm(1/(温度 + 273.15)~poly(log(电阻),3), d)
  summary(lm2.therm)
#+end_src

#+RESULTS:
#+begin_example
Call:
lm(formula = 1/(温度 + 273.15) ~ poly(log(电阻), 3), data = d)

Residuals:
       Min         1Q     Median         3Q        Max 
-1.632e-04 -3.549e-05 -2.918e-06  3.457e-05  1.548e-04 

Coefficients:
                      Estimate Std. Error  t value Pr(>|t|)    
(Intercept)          3.326e-03  2.418e-06 1375.488  < 2e-16 ***
poly(log(电阻), 3)1  3.641e-03  5.073e-05   71.767  < 2e-16 ***
poly(log(电阻), 3)2 -1.112e-06  5.073e-05   -0.022    0.983    
poly(log(电阻), 3)3 -3.624e-04  5.073e-05   -7.144 3.83e-12 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 5.073e-05 on 436 degrees of freedom
Multiple R-squared:  0.9227,	Adjusted R-squared:  0.9221 
F-statistic:  1734 on 3 and 436 DF,  p-value: < 2.2e-16
#+end_example

#+begin_src R :session pd :file plot/thermistor-lm-r1.pdf :results graphics file :width 5 :height 4 :family GB1 :exports none
  par(mar = c(4.5, 4.5, 0.8, 0.8))
  plot(1/(温度 + 273.15) ~ log(电阻), d, ylab="K/T", xlab="log(R/kΩ)", cex.lab=2, cex.axis=2)
  abline(lm.therm, col="blue", lwd=4)
  red = sort(d$电阻)
  lines(log(red), predict(lm2.therm, data.frame(电阻=red)), col="red", lwd=4)
#+end_src

#+RESULTS:
[[file:plot/thermistor-lm-r1.pdf]]

#+begin_src R :session pd :results output :exports none
    summary(aov(lm2.therm))
    AIC(lm.therm, lm2.therm)
#+end_src

#+RESULTS:
:                     Df    Sum Sq   Mean Sq F value Pr(>F)    
: poly(log(电阻), 3)   3 1.338e-05 4.462e-06    1734 <2e-16 ***
: Residuals          436 1.122e-06 3.000e-09                   
: ---
: Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
:           df       AIC
: lm.therm   3 -7402.999
: lm2.therm  5 -7447.706

*** 例子：辐射热计量
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.65
:END:
- 每次有放射性衰变，二氧化碲 \(\ce{TeO2}\) 晶体都会“发烧”升温，

  \[ \ce{^{130}Te} \to \ce{^{130}Xe} + 2e^- + \underbrace{2\bar{\nu}_e}_{?} \]
  
- 通过给晶体“量体温”，确定中微子是否它自身的反粒子，以及中微子质量。
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.35
:END:
#+attr_latex: :height 3cm
[[./fig/detector.jpg]]

#+beamer: \pause
**** 中子嬗变掺杂锗热敏电阻的线性回归
“体温计”为“中子嬗变掺杂（NTD）”的锗热敏电阻。由线性回归标定：
  #+begin_export latex
  \begin{equation*}
    \sqrt{\frac{T_0}{\alert{T}}} = a + b \log \left(\frac{\alert{R}}{R_0}\right)
  \end{equation*}
  #+end_export

  精度达到 \(\si{\micro K}\)，是一般热敏电阻的 1000 倍。
** 泊松回归
*** 推广：打破残差的正态分布假设
残差不服从正态分布时，以线性模型解决问题 \to \alert{广义线性回归}。

- 泊松回归：观测量是计数
- 伽马回归：观测量是正实数
- 逻辑回归：观测量是 \([0, 1]\) 区间内的实数
- 二项回归：观测量是 \(0, 1 \cdots, N\) 的整数
*** 例：盖革计数器的放射性计量
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.62
:END:
#+begin_export latex
\alt<2>{%
  \includegraphics[height=4.6cm,page=36]{plot/ocean}
}{%
  \animategraphics[autoplay,height=4.6cm]{1}{plot/ocean}{0}{36}
}
#+end_export

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.38
:END:
2023年8月24日至9月11日，日本福岛第一核电站核污染水排海 7788 吨。
\bigskip

早在2012年德国海洋研究团队模拟了污水的扩散过程。

**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+beamer: \pause
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:

- 环境放射性，由探头计数测量。
- 计数个数反映了辐射强弱 \to [[https://hep.tsinghua.edu.cn/~orv/teaching/statistics/survey-meter.mp4][样例视频]]。

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:
#+beamer: \vspace{-1cm} \visible<2-> {
#+Attr_LaTeX: :height 4cm
[[./fig/survey-meter.jpg]]
#+beamer: }

*** 计数问题：规律探寻
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.6
:END:
\SI{10}{s} 内积累的信号数 \(N\)，依赖于样品辐射强度 \(I\) 和探头距离 \(r\)。

  \[ N = \frac{\textcolor{red}{I}}{r^{\textcolor{red}{s}}},~~~~~~~\textcolor{red}{s} \approx 2 \]

\(r\) 和 \(N\) 已测得，@@latex:\textcolor{red}{\(I\)}@@和@@latex:\textcolor{red}{\(s\) 待求}@@。
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.4
:END:
   #+begin_src R :session pd :file plot/poisson.pdf :results graphics file :width 6 :height 5 :family GB1 :exports results
     library(showtext)
     showtext.auto()
     repitition = 7
     d = 1.02^seq(-20, 96)
     l = 6/d^2
     set.seed(98)
     observe = rpois(rep(repitition, length(d)), lambda=l)
     photon_count = data.frame(距离=d, 信号数=observe)
     par(mar = c(4, 4.5, 0.1, 0.1))
     plot(信号数~距离, ylab="N", xlab="r/cm", photon_count, cex.lab=2, cex.axis=2, cex.main=2, cex.sub=2)
   #+end_src

   #+Attr_LaTeX: :height 4cm
   #+RESULTS:
   [[file:plot/poisson.pdf]]

#+beamer: \pause
**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:

- 尝试转化为线性回归

\[ \log N = \textcolor{red}{\log I} - \textcolor{red}{s} \log r \]

\(N=0\) 的数据点如何处理？@@beamer:\pause@@ 把 \(\log N\) 换成 \(\log(N+1)\)。

*** 计数问题：线性回归
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src R :session pd :file plot/poisson-lm.pdf :results graphics file :width 6 :height 5 :family GB1 :exports results
  lm.count = lm(log1p(信号数)~log(距离), photon_count)
  par(mar = c(4.5, 5, 1, 0.1))
  plot(log1p(信号数)~log(距离), ylab="log(N+1)", xlab="log(r/cm)", photon_count, cex.lab=2, cex.axis=2, cex.main=2, cex.sub=2)
  abline(lm.count)
#+end_src

#+attr_latex: :height 5cm
#+RESULTS:
[[file:plot/poisson-lm.pdf]]

#+beamer: \vspace{-0.7cm}
#+begin_export latex
\begin{equation*}
  \left.\begin{array}{r}
    \text{在不同距离下计数的方差不固定} \\
    \text{计数量是离散的}
        \end{array}\right\}
\end{equation*}
#+end_export

#+beamer: \pause
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+beamer: \visible<2->{
#+begin_src R :session pd :file plot/poisson-lm-resid.pdf :results graphics file :width 6 :height 5 :family GB1 :exports results
  par(mar = c(4.5, 5, 1, 0.1))
  plot(resid(lm.count)~log(距离), ylab="残差", xlab="log(r/cm)", data=photon_count, cex.lab=2, cex.axis=2, cex.main=2, cex.sub=2)
#+end_src

#+RESULTS:
[[file:plot/poisson-lm-resid.pdf]]
#+beamer: }

#+beamer: \vspace{-0.7cm}
#+begin_export latex
\begin{equation*}
  \begin{array}{l}
    \text{不符合线性回归的正态分布假设}\\
    Y_i \sim N(a + bx_i, \textcolor{red}{\sigma^2})
  \end{array}
\end{equation*}
#+end_export

**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+beamer: \pause
#+begin_export latex
\begin{equation*}
  \text{方差不固定} \xrightarrow{\text{加权线性回归}} Y_i \sim N(a + b x_i, \alert{\sigma_i^2})
\end{equation*}
#+end_export

*** 计数问题：把残差假设替换为泊松分布
计数问题中，残差的正态假设失效，但数据呈现依赖关系。

#+beamer: \pause
- 把正态分布 \(N(\cdot, \sigma^2)\) 换成贴近计数问题的泊松分布 \(\pi(\cdot)\)
  #+begin_export latex
  \begin{equation*}
    \begin{aligned}
    Y_i & \sim N[\E (Y_i), \sigma^2], & \E(Y_i) = a + bx_i\\
    \text{替换为　} Y_i & \sim \pi[\E(Y_i)], & \log\E(Y_i) = a + bx_i
    \end{aligned}
  \end{equation*}
  #+end_export
  \(\E(Y_i)\) 代表随机变量 \(Y_i\) 的期望（均值）。
\bigskip

#+beamer: \pause
#+latex: \begin{itembox}[l]{定义：泊松回归}
观测量\(y_i\)相对于预测量\(\E(Y_i) = e^{a + b x_i}\)为泊松分布的回归模型，称@@beamer:\alert{泊松回归}@@。
#+latex: \end{itembox}
*** 泊松回归模型
一组相互独立的数据 \((x_i, y_i)\) ，其中 \(y_i\) 为计数。

\[ Y_i \sim \pi[\E (Y_i)], \log\E(Y_i) = a + bx_i \]

#+beamer: \pause
- 当 \(x_i\) 确定时，\(a, b\) 决定了 \(Y_i\) 的泊松分布参数，
#+begin_export latex
\begin{equation*}
  \begin{aligned}
    P(Y_i = y_i | a, b) & = \frac{[\E(Y_i)]^{y_i}}{y_i !} e^{-\E(Y_i)} \\
    \pause
    & = \frac{[\exp(a + b x_i)]^{y_i}}{y_i !} e^{-\exp(a + b x_i)} \\
    \pause
    P(\vec{Y} = \vec{y}|a, b) & = \prod_i \frac{[\exp(a + b x_i)]^{y_i}}{y_i !} e^{-\exp(a + b x_i)}
  \end{aligned}
\end{equation*}
#+end_export

#+beamer: \pause
- \(a, b\) 取不同的值时，观测得到的 \((x_i, y_i)\) 的概率不同。
*** 最大似然估计
#+latex: \begin{itembox}[l]{定义复习：似然函数}
观测发生的概率关于模型参数的函数称为\alert{似然函数}。
#+latex: \end{itembox}
#+beamer:\pause
- 已经测量 \(x_i, y_i\) 时，
\[ P(\vec{Y}=\vec{y}|a, b) = \prod_i \frac{[\exp(a + b x_i)]^{y_i}}{y_i !} e^{-\exp(a + b x_i)} \]
是 \(a, b\) 的函数，是模型和观测值的似然函数 \(\mathcal{L}(a, b)\)

#+beamer:\pause
**** 最大似然估计
即找到对应使 \((x_i, y_i)\) 概率最大的一组 \(\hat{a}, \hat{b}\) 为解。取 \(\log\) 方便计算
#+begin_export latex
  \begin{equation*}
   \hat{a}, \hat{b} = \arg \underset{a, b}{\max} \log \mathcal{L}(a, b) \pause = \arg \underset{a, b}{\max} \sum_i y_i (a + b x_i) - e^{(a + b x_i)}
  \end{equation*}
#+end_export

*** 对数似然距离
\[\log \mathcal{L}[\E(\vec{Y})] = \sum_i y_i \log [\E (Y_i)] - \E (Y_i),\ \frac{ \partial \log \mathcal{L}[\E(\vec{Y})] }{ \partial [\E (Y_i)] } = \frac{y_i}{\E(Y_i)} - 1\]

若 \(\E(\vec{Y})\) 不受 \(e^{(a+bx_i)}\) 约束，\(\mathcal{L}[\E(\vec{Y})]\) 在 \(\E(\vec{Y}) = \alert{\vec{y}}\) 时取最大。

#+beamer: \pause
**** 定义预测值 \(\E (\vec{Y})\) 到观测值 \(\vec{y}\) 的“距离” \(\mathcal{D}\)
- 令其越小代表两者符合得越好，取 0 时代表两者“相等”。
#+beamer: \pause
  #+begin_export latex
  \begin{equation*}
    \begin{aligned}
      \mathcal{D}[\E(\vec{Y}), \alert{\vec{y}}] & = \onslide<5->{2} \left[ \log \underbrace{\mathcal{L}[\E(\vec{Y}) = \alert{\vec{y}}]}_{\text{似然函数的最大取值}} - \log \mathcal{L}[\E(\vec{Y})]\right] \\
      \pause
      & = \onslide<5->{2} \left[ \sum_i y_i \log \frac{\alert{y_i}}{\E(Y_i)} - [\alert{y_i} - \E(Y_i)] \right]
    \end{aligned}
  \end{equation*}
  #+end_export
#+beamer: \onslide<5->{通常再乘上系数 2 ，动机来自正态分布（下页）。}
*** 残差平方和与对数似然距离

考虑正态分布的对数似然距离
#+begin_export latex
\begin{shadebox}
  \begin{equation*}
    \begin{aligned}
      \mathcal{D}[\E (\vec{Y}), \vec{y}] & = 2 \{ \underbrace{\log \mathcal{L}[\E(\vec{Y}) = \vec{y}]}_{(\vec{y} - \vec{y})^2/(2 \sigma^2) = 0} - \log \mathcal{L}[\E(\vec{Y})]\}
      \pause
       = \sum_i [\E(\vec{Y}_i) - y_i]^2 / \sigma^2
    \end{aligned}
  \end{equation*}
  \end{shadebox}
#+end_export
\bigskip

正是线性回归使用的\alert{残差平方和}。
\bigskip

#+beamer: \pause
**** 启示
泊松分布的“对数似然距离”，可看作是“残差平方和”的推广。

#+begin_export latex
\begin{equation*}
  \begin{aligned}
    \hat{a}, \hat{b} = \arg \underset{a, b}{\max} \log \mathcal{L}_i(a, b) = \arg \underset{a, b}{\min} \mathcal{D}(e^{a + bx_i}, y_i)
  \end{aligned}
\end{equation*}
#+end_export

*** 对数似然距离的直观理解
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

\[ \sum_i[(a + bx_i)-y_i]^2 \]
残差平方和：

#+caption: 线性回归
#+attr_latex: :height 4cm
[[./plot/flat.pdf]]

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

\[ \mathcal{D}(e^{a + bx_i}, y_i) \]
对数似然距离，非线性：

#+caption: 泊松回归
#+attr_latex: :height 4cm
[[./plot/curved.pdf]]

**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+beamer: \pause
使用\alert{最小二乘法}，可解析求解线性回归模型@@beamer:\pause@@，能否推广到\alert{泊松回归}？

*** 求解数似然函数距离的极小值
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
以最小对数似然距离求 \(\hat{b}\) ：
#+begin_export latex
  \begin{equation*}
    \begin{aligned}
    \hat{a}, \hat{b} &= \arg \underset{a, b}{\min} \mathcal{D}[\E(Y_i|a,b), y_i] \\
    \pause
    \Rightarrow 0 & = \frac{\partial \log \mathcal{D} [\E(Y_i|a, b), y_i]}{\partial b} \\
    \pause
    &= \sum_i \left[-\frac{y_i}{\E(Y_i)} + 1\right] \frac{\partial \E(Y_i|a, b)}{\partial b} \\
    \end{aligned}
  \end{equation*}
  #+end_export

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

#+beamer: \pause
#+beamer: \pause
构造最小二乘法求 \(\hat{b}\)：
#+begin_export latex
  \begin{equation*}
    \begin{aligned}
      \hat{a}, \hat{b} & = \arg \underset{a, b}{\min} \underbrace{\sum_i \frac{1}{\E(Y_i)} [y_i - \E(Y_i|a, b)]^2}_{\text{加权的残差平方和}} \\
      \pause
      \Rightarrow 0 & = \frac{\partial}{\partial b}\left\{ \sum_i \frac{1}{\E (Y_i)} [y_i - \E(Y_i|a, b)]^2\right\} \\
    \end{aligned}
  \end{equation*}
#+end_export
**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
\vspace{0.2cm}
#+beamer: \onslide<4->
\[ \implies 0 = \alert{\sum_i \frac{1}{\E (Y_i)}[y_i  - \E(Y_i)] \frac{\partial \E(Y_i|a, b)}{\partial b} = -\frac{1}{2} \sum_i \frac{1}{\E (Y_i)} \frac{\partial} {\partial b}[y_i  - \E(Y_i|a, b)]^2}\]
#+beamer: \onslide<7->
- 两者解相同，对数似然距离与残差平方和等价。
- 当权重 \(1/\E(Y_i)\) 被看作常数时，线性回归与泊松回归等价。

*** 变权迭代最小二乘法
\[ a_0, b_0 \to \E(Y_i) = a_0 + b_0 x_i \xrightarrow{求解线性回归} a_1, b_1 \to \E(Y_i) = a_1 + b_1 x_i \cdots \]

#+begin_src R :session pd :session pd :file plot/IRLS.pdf :results graphics file :width 5 :height 5 :family GB1 :exports results
  x=(0:40) / 10
  y=-(x-2)^2
  par(mar = c(0, 0, 0, 0))
  x0 = 0.5
  y0 = -1
  ## 用 tangent 求解
  tangent <- function(x, plot=FALSE) {
    y = -(x - 2)^2
    ## y = -(x - 2)^2 的导函数 y' = -2(x-2)
    ## (y - a) / (x - 0) = -2(x-2)
    b = -2*(x-2)
    a = y - b*x
    if (plot) abline(a, b, col="blue", lwd=3)
    ## 从 (x, y) 到 l 引垂线
    ## y1 = a + b x1
    ## (x1 - x) + (y1 - y) b = 0 =>
    x1 = (-a*b + x0 + b*y0) / (1+b*b)
    y1 = (b*(x0 + b*y0) + a) / (1+b*b)
    if (plot) {
      segments(x0, y0, x1, y1, col="blue", lty=5, lwd=2)
      arrows(x1, y1, x1, -(x1-2)^2, length=0.1, col="blue", lty=5, lwd=2)
    }
    return(x1)
  }

  x1 = 3
  xl = 3
  for (i in 1:10) {
    x1 = tangent(x1)
    xl = c(xl, x1)
  }

  plot(x, y, type="l", axes = FALSE, ann=FALSE, ylim=c(-3.5, 0.5), lwd=3)
  points(x0, y0, cex=2)
  text(x0, y0+0.2, "Y", cex=2)

  for (i in 1:10) {
    plot(x, y, type="l", axes = FALSE, ann=FALSE, ylim=c(-3.5, 0.5), lwd=3)
    x0 = 0.5
    y0 = -1
    points(x0, y0, cex=2)
    text(x0, y0+0.2, "Y", cex=2)
    points(xl[1:i], -(xl[1:i] - 2)^2, cex=2, pch=4)
    tangent(xl[i], TRUE)
  }
#+end_src

**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_export latex
\alt<2>{%
\animategraphics[autoplay,height=6cm]{0.4}{plot/IRLS}{0}{11}
}{%
\includegraphics[height=6cm]{plot/IRLS}
}
#+end_export

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+beamer: \onslide<2-> {
要寻找曲面上距离已知点 \(Y\) 最近的点，\medskip
1. 在曲线上猜一个位置 \(B_0, i \gets 0\)；\medskip
2. 从 \(Y\) 向 \(B_i\) 处的切空间投影得 \(B'\) ；\medskip
3. 令 \(B_{i+1} \gets B', i \gets i+1\)；\medskip
4. 若 \(B_{i+1} = B_i\)则得解，\medskip

   否则回到第 2 步。
#+beamer: }

*** 泊松回归求解辐射量
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:

- 信号数 \(N\)，依赖于样品辐射强度 \(I\) 和探头距离 \(r\)。

#+begin_export latex
\begin{equation*}
  \begin{aligned}
    N & = \frac{\alert{I}}{r^{\alert{s}}} \\
    \log N & = \alert{\log I} - \alert{s} \log r
  \end{aligned}
\end{equation*}
#+end_export

#+begin_src R :session pd :results output :exports none
  summary(glm.count)
  summary(lm.count)
#+end_src

#+RESULTS:
#+begin_example

Call:
glm(formula = 信号数 ~ log(距离), family = poisson(), data = photon_count,
    start = c(0, 0), maxit = i)

Deviance Residuals:
    Min       1Q   Median       3Q      Max
-2.4629  -0.8626  -0.4653   0.5945   2.5619

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  1.72666    0.05681   30.40   <2e-16 ***
log(距离)   -2.07772    0.13017  -15.96   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for poisson family taken to be 1)

    Null deviance: 505.16  on 116  degrees of freedom
Residual deviance: 115.21  on 115  degrees of freedom
AIC: 338.43

Number of Fisher Scoring iterations: 8

Call:
lm(formula = log1p(信号数) ~ log(距离), data = photon_count)

Residuals:
     Min       1Q   Median       3Q      Max
-1.40175 -0.27759  0.07101  0.32908  0.95602

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  1.72603    0.06744   25.59   <2e-16 ***
log(距离)   -1.09170    0.06698  -16.30   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.4846 on 115 degrees of freedom
Multiple R-squared:  0.6979,	Adjusted R-squared:  0.6952 
F-statistic: 265.6 on 1 and 115 DF,  p-value: < 2.2e-16
#+end_example

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.7
:END:
#+begin_src R :session pd :file plot/poisson-glm.pdf :results graphics file :width 7 :height 5 :family GB1 :exports results
  par(mar = c(4.5, 5, 0.3, 0.3))
  plot(信号数~距离, ylab="N", xlab="r/cm", photon_count, cex.lab=2, cex.axis=2, cex.main=2, cex.sub=2)
  x = unique(photon_count$距离)
  lines(x, rep(exp(0), length(x)), col="blue")
  for (i in 1:8) {
    glm.count = glm(信号数 ~ log(距离), start=c(0, 0), poisson(), photon_count, maxit=i)
    plot(信号数~距离, ylab="N", xlab="r/cm", photon_count, cex.lab=2, cex.axis=2, cex.main=2, cex.sub=2)
    lines(unique(photon_count$距离), unique(exp(predict(glm.count))), col="blue")
  }
#+end_src

#+begin_export latex
\alt<2>{%
  \includegraphics[height=5.5cm,page=9]{plot/poisson-glm}
}{%
  \animategraphics[autoplay,height=5.5cm]{1}{plot/poisson-glm}{0}{9}
}
#+end_export
**** i                                                      :B_ignoreheading:
:PROPERTIES:
:BEAMER_env: ignoreheading
:END:
#+beamer: \onslide<2->
|        | \(\log I\)          | \(s\)                 |
|--------+---------------------+-----------------------|
| 线性回归 | \(1.726 \pm 0.067\) | \(-1.092 \pm 0.067 \) |
| 泊松回归 | \(1.727 \pm 0.057\) | \(-2.08 \pm 0.13\)    |
| 参考值  | \(1.792\)           | \(-2\)                |

*** 泊松回归在实验物理（中微子望远镜）的应用
#+attr_latex: :height 5.5cm
[[./fig/detector.pdf]]

上万个计数器协同工作，测量中微子能量，定出中微子位置。

#+beamer: \pause

- 运用泊松回归方法实现测量精度的大幅提升。

  #+beamer: {\scriptsize 《原子核仪器与物理学研究方法》期刊 NIMA Volume 1057, December 2023, 168692}

*** 刻度的泊松回归模型
\[ N_i \sim \pi[\E(N_i)] \]
在中微子探测问题中，考虑中微子在介质中的反应位置 \(\vec{r}\)。需要获得 \(Y_i\) 与 \(\vec{r}\) 的关系，当反应点与 \(\vec{r}_i\) 处的 PMT 距离较远时，可用平方反比近似。

\[ \E(N_i) = \frac{I}{(\vec{r}_i - \vec{r})^s} \]

#+beamer: \pause

如果再考虑介质对闪烁光的吸收，吸收长度为 \(L_0\)。

\[ \E(N_i) = \frac{I}{|\vec{r}_i - \vec{r}|^s} e^{-\frac{|\vec{r}_i - \vec{r}|}{L_0}} \]

#+beamer: \pause
取 \(\log\) 成为线性关系，
\[ \log\E(N_i) = \log I - s \log(|\vec{r}_i - \vec{r}|) - \frac{1}{L_0} |\vec{r}_i - \vec{r}| \]
在探测器刻度中，\(\vec{r}\) 已知。通过泊松回归获得 \(\log I, s, \frac{1}{L_0}\)。

*** 事例重建的泊松回归模型
重建中，中微子事例的位置 \(\vec{r}\) 与能量 \(E\) 是待求量。

\[ \log\E(N_i) = \log I - s \log(|\vec{r}_i - \vec{r}|) - \frac{1}{L_0} |\vec{r}_i - \vec{r}| \]

1. 对于假定的位置 \(\vec{r}\) ，基于刻度标定的 \(s, L_0\) ，回归 \(I\) 得到事例能量；
2. \(\hat{I}\) 替换 \(I\) 计算回归的似然函数 \(\mathcal{L}(\vec{r})\)；
3. 利用最大似然法求得 \(\hat{\vec{r}} = \arg \underset{\vec{r}}{\max} \mathcal{L(\vec{r})}\) 。

**** 思考（开放问题，取得解者 +5%）
有可能把 \(\hat{\vec{r}}\) 的求解过程化为线性回归问题吗？

*** 大作业
一般性地求解 \(\E[N_i(\vec{r})]\)。

- 再加上时间维度的信息，\(\E[N_i(\vec{r}, t)]\)。
- 可考虑使用回归方法取得函数形式，例如对时间取小区间。
- 难点：加入了时间之后，如何线性化表示 \(N_i(\vec{r}, t)\) 函数关系？

*** 总结
1. 把线性回归中的正态假设替换为\alert{泊松假设}，得到\alert{泊松回归}。

   \[ Y_i \sim \pi[\E(Y_i)], \log\E(Y_i) = a + bx_i. \]
  
   将简洁有效的线性回归方法范围推广到\alert{计数问题}。\medskip
  #+beamer: \pause
2. 泊松对数似然距离，是正态残差平方和的推广：
  \[ \mathcal{D}[\E (\vec{Y}), \vec{y}] = 2 \left\{ \sum_i y_i \log \frac{y_i}{\E(Y_i)} - [y_i - \E(Y_i)] \right\}. \]

  #+beamer: \pause
3. 变权迭代最小二乘法把线性回归的框架应用于泊松回归：
  \[ a_0, b_0 \to \E(Y_i) = a_0 + b_0 x_i \xrightarrow{求解线性回归} a_1, b_1 \to \E(Y_i) = a_1 + b_1 x_i \cdots \]

  启示：用\alert{线性方法}可以高效解决看似\alert{非线性}的问题。
# 计数（泊松分布）和连续测量（正态分布），看似非常不一样的数据，可以用类似的方法

** 广义线性回归
*** 定义
#+latex: \begin{itembox}[l]{指数分布族}
一族的分布，它们的概率密度函数或分布律记为 \(f(x|\vec{\theta})\) ，如果有
\[ f(x|\vec{\theta}) = \exp\left[\sum_{i=1}^s \eta_i(\vec{\theta}) T_i(x) - B(\vec{\theta})\right] h(x) \]
的形式，则称为 \(s\) *维指数分布族* 。
#+latex: \end{itembox}

如果把 \(\eta_i(\vec{\theta})\) 当作自变量反解 \theta，那么形式有进一步的化简。
#+latex: \begin{itembox}[l]{指数分布族标准形式}
\[ f(x|\vec{\eta}) = \exp\left[\sum_{i=1}^s \eta_i T_i(x) - A(\vec{\eta})\right] h(x) \]
#+latex: \end{itembox}
其中 \(\eta_i = \eta_i(\vec{\theta})\), \(A[\vec{\eta}(\vec{\theta})] = B(\vec{\theta})\)。
*** 指数离散分布族 Exponential Dispersion Family
在指数分布族上再配一项 \(\phi>0\)。

\[ f(x|\vec{\eta}) = \exp\left[\sum_{i=1}^s \eta_i T_i(x) - A(\vec{\eta})\right] h(x) \]

变为

\[ f(x|\phi, \vec{\eta}) = \exp\left\{\sum_{i=1}^s \frac{1}{\phi}\left[\eta_i T_i(x) - A(\vec{\eta})\right]\right\} h(\phi, x) \]

当 \phi 取 \(1\) 时，Exponential Dispersion Family 就是 Exponential Family。

**** 期望与方差
- 期望：\(\E(X) = A'(\eta)\) 不变，记为 \(\mu\)
- 方差：\(\Var(X) = A''(\eta)\) \to \(\Var(X) = \phi A''(\eta)\)
  + 所以 \(\phi\) 称为 *离散度参数* dispersion parameter。
*** 方差与期望的相关性
- 期望：\(\E(X) = \mu = A'(\eta)\)
- 方差：\(\Var(X) = \phi A''(\eta)\) 说明 \(A(\eta)''>0\)
- 说明 \(\mu(\eta) = A'(\eta)\) 是单调函数，\(\eta\) 与 \(\mu\) 之间有双射。
  \[ A'^{-1}(\mu) = \eta \]

**** 方差函数
把 \(A''(\eta)\) 换为 \(A''(A'^{-1}(\mu))\) 定义为 \(V(\mu)\)，称 *方差函数* 。那么

\[ \Var(X) = \phi V(\mu) \]

*** 常见的指数离散分布族成员

| 名称     | \(V(\mu)\)                | \(\eta\)                      | \(\phi\)     | \(d(x, \mu)\) |
|---------+---------------------------+-------------------------------+--------------+---------------|
| 正态     | \(1\)                     | \(\mu\)                       | \(\sigma^2\) |               |
| 二项     | \(\mu(1-\mu)\)            | \(\log \frac{\mu}{1-\mu}\)    | \(\frac{1}{N}\) |               |
| 泊松     | \(\mu\)                   | \(\log \mu\)                  | 1            |               |
| 伽马     | \(\mu^2\)                 | \(-\frac{1}{\mu}\)            | \(\phi\)     |               |
|---------+---------------------------+-------------------------------+--------------+---------------|
| 负二项   | \(\mu + \frac{\mu^2}{k}\) | \(\log\frac{\mu}{\mu+k} \)    | 1            |               |
| 逆高斯   | \(\mu^2\)                 | \(-\frac{1}{2\mu^2}\)         | \(\phi\)     |               |
| Tweedie | \(\mu^\xi\)               | \(\frac{\mu^{1-\xi}}{1-\xi}\) | \(\phi\)     |               |

对数似然距离记为 \(d(x, \mu)\) ，近似地
\[ \frac{d(x, \mu)}{\phi} \sim \chi^2(1) \]

- F-检验 与 t-检验都适用。

*** 广义线性回归
泊松回归是\alert{广义线性回归}的一个特例。

- 常见的广义线性回归有
  - \normalsize{负二项回归：观测量是非负整数，比泊松回归多一个参数}
  - \normalsize{伽马回归：观测量是正实数}
    + 或者使用逆高斯分布。
  - \normalsize{逻辑回归：观测量是 \([0, 1]\) 区间内的实数}
  - \normalsize{二项回归：观测是是 \(0, 1 \cdots, N\) 的整数}
    + 关注成功次数占总数的比例。
  - \normalsize{Tweedie 回归：}
- 它们都可以通过\alert{变权迭代最小二乘法}有效解出。

*** 泊松回归例子
- 尝试对 =r10500.h5= 进行泊松回归
- 辅助文件 =geo.csv= , =pmtdata.csv=

#+begin_src R :session pd :results output
  library(rhdf5)
  library(dplyr)
  PEs <- h5read("lm-examples/r10500.h5", "PETruth")
  PEs |> group_by(EventID, ChannelID) |> summarise(nPE=n()) -> nPE
  PMT <- read.table("lm-examples/pmtdata.csv", col.names=c("ChannelID", "type", "QE"))
  nPE |> inner_join(PMT) -> d
  lm0.d <- glm(nPE ~ type - 1, d, family = poisson())
  summary(lm0.d)
#+end_src

#+RESULTS:
#+begin_example
Call:
glm(formula = nPE ~ type - 1, family = poisson(), data = d)

Coefficients:
                Estimate Std. Error z value Pr(>|z|)    
typeHamamatsu  3.3682078  0.0005870  5738.4   <2e-16 ***
typeHighQENNVT 3.3916647  0.0003988  8504.3   <2e-16 ***
typeHZC        0.3696733  0.0018707   197.6   <2e-16 ***
typeNNVT       3.2986176  0.0009531  3461.0   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for poisson family taken to be 1)

    Null deviance: 55350655  on 549674  degrees of freedom
Residual deviance:  5729167  on 549670  degrees of freedom
AIC: 7915838

Number of Fisher Scoring iterations: 5
#+end_example

*** 未出来的数据按照 0 计数处理
#+begin_src R :session pd
  nPE |> right_join(PMT) -> d1
  head(d1[is.na(d1$nPE),])
#+end_src

#+RESULTS:
|   | 309056 |   | HZC | 0.255856 |
|   | 309157 |   | HZC | 0.241972 |
|   | 312822 |   | HZC | 0.236523 |
|   | 312823 |   | HZC | 0.254319 |
|   | 312841 |   | HZC | 0.241801 |
|   | 312842 |   | HZC | 0.227959 |

是没有计数的 PMT，已经损坏，不考虑使用 =inner_join= 合理。
*** 总结
**** 模型的选择
1. 关系代数让回归分析变得极其直观，让我们专注于问题的本质
2. 模型的选择极其重要，应当使用客观标准
   + AIC 是最简单直接的客观标准
   + 找到“最佳模型”的过程充满曲折，是实验“研究”的主体过程
3. 广义线性回归，把误差分布从高斯替换为其它指数族分布
   + 把连接函数从恒等替换为非线性函数
   + 几乎可以解决所有日常工作中的非线性问题，惊喜！

* 大作业与未来方向
  :PROPERTIES:
  :EXPORT_FILE_NAME: pf
  :EXPORT_DATE: 2025-07-17 清华
  :EXPORT_BEAMER_HEADER+: \author{续本达}
  :EXPORT_BEAMER_HEADER+: \institute[清华工物]{清华大学 工程物理系}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]  
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 复习与提示
*** 广义线性回归
1. 关系代数让回归分析变得极其直观，让我们专注于问题的本质
2. 模型的选择极其重要，应当使用客观标准
   + AIC 是最简单直接的客观标准
   + 找到“最佳模型”的过程充满曲折，是实验“研究”的主体过程
3. 广义线性回归，把误差分布从高斯替换为其它指数族分布
   + 把连接函数从恒等替换为非线性函数
   + 几乎可以解决所有日常工作中的非线性问题，惊喜！
*** 数据时代的物理技能
[[./out/Data_Science_VD-migrate.pdf]]
*** 概率是逻辑的扩展 -- Cox 定理
    - Laplace: probability theory is nothing but common sense reduced to calculations.
    - R. T. Cox, E. T. Jaynes，两位对统计学有重大贡献的物理学家
    - Logical interpretation of probability
      1. Divisibility and comparability -- The plausibility of a
         proposition is a real number and is dependent on information
         we have related to the proposition.
      2. Common sense -- Plausibilities should vary sensibly with the
         assessment of plausibilities in the model.
      3. Consistency -- If the plausibility of a proposition can be
         derived in many ways, all the results must be equal.
    - 概率论的唯一性：
      Any system for plausible reasoning that satisfies certain
      qualitative requirements intended to ensure consistency with
      classical deductive logic and correspondence with commonsense
      reasoning is isomorphic to probability theory.

      #+latex: {\scriptsize
      参考：Van Horn, K.S., 2003. Constructing a logic of plausible
      inference: a guide to Cox’s theorem. International Journal of
      Approximate Reasoning 34, 3–24.
      #+latex: }

** 大作业安排
*** 大作业安排
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
***** 正向第一阶段
[[file:./MC-predict.pdf]]

- 模拟实验测量

**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
***** 逆向第二阶段

[[file:./MC-calibration.pdf]]
    
- 分析数据
- 测量模型参数
- 黑盒分数按排名

*** 实验测量的分析
    - 输入 :: （模拟的）实验测量原始数据
      + 如果不是模拟的，则无法评分
      + 但是助教会尽可能把它做得和真的一样
    - 输出 :: 物理对象的数学描述，实现 
    - 采分 :: 与助教手中的模拟输入相比

**** 第二阶段分组
- 每队三人，考核团队 Git 协作
  - 不同队伍间请勿直接交换代码
#+beamer: \pause
- 如果大作业结果含有学术突破，总评保送 A+。
*** 大作业的可复现性
**** _复现_ 原则的要求                                       :B_exampleblock:
     :PROPERTIES:
     :BEAMER_env: exampleblock
     :END:
     
大作的结果必须可复现，否则无效。

**** 思路和要点
- 将获得
  #+beamer: {\scriptsize
  https://git.tsinghua.edu.cn/physics-data/2025/project_2
  #+beamer: }
  之下的仓库 clone 一份，使用 GNU Make 构建整个分析流程，连同报告、程
  序整理到仓库中。

  + 注意小组分工中 Git 使用的规范
  + 善于使用 Git =branch=, Gitlab =merge request= 等团队协作功能

- 把流程系统化成输入、输出与过程三要素。
  - 而向数据编程，data-driven programming
- 系统表达输入数据、输出数据和中间结果的依赖关系，
  + 成为“可执行的说明文档”
** probe 大作业
*** 具体说明
参考

#+beamer: {\scriptsize
https://git.tsinghua.edu.cn/physics-data/projects/tpl_junoprobe
#+beamer: }

中的文档

- 正在完善仍有改动，以

#+beamer: {\scriptsize
  https://git.tsinghua.edu.cn/physics-data/2025/project_2
#+beamer: }

出现的版本为准。

*** 泊松点过程
- 作业的目标是取得 JUNO 探测器 PMT 检测到光电子的泊松点过程的条件强度函数。

**** likelihood-free inference
- "likelihood-free inference" somewhat misleading
- 从一个没有 likelihood 的模型中，提炼出 likelihood。

** 泊松点过程
*** 随机过程概念
#+attr_beamer: :overlay <+->
- 随机过程的研究对象是 *随时间演变的随机现象* 。
- 不能用随机变量或多维随机变量来合理表达，而需要用一族无限多个随机变量来描述。
#+latex: \begin{itembox}[l]{定义}
随机过程是一族随机变量 \(\{X(t):t \in T\}\), 其中\(t\)是 *参数* ，\(T\)称为 *参数集* .
#+latex: \end{itembox}

#+attr_beamer: :overlay <+->
- 一般地, \(t\) 表示时间。对于每一个\( t \in T\) ，\(X(t)\) 是一个随机变量，称\(X(t)\) 为时刻 \(t\) 时 *过程的状态* 。
- \(X(t)\)所有可能取值的全体称为随机过程的 *状态空间* 。

*** 样本函数
#+latex: \begin{itembox}[l]{定义}
对随机过程 \(\{X(t):t \in T\}\)  进行一次试验（即在 \(T\) 上进行一次全程观测），其结果是 \(t\) 的函数，记为 \(\{ x(t):t \in T\}\)，称为随机过程的一个 *样本函数* 。
#+latex: \end{itembox}
#+beamer: \pause
随机过程观测获得样本函数，如同总体观测获得个体样本
**** 符号化
把随机过程 \(\{X(t),t \in T\}\) 写成
\[\{X( \omega ,t): \omega  \in  \Omega ,t \in T\}\]
的形式，其中\( \omega , \Omega \)分别是随机试验的 *样本点* 和 *样本空间* 。
#+beamer: \pause
- 固定一个时间 \(t_0\)，随机过程对应于一个随机变量 \(X(t_0)\)。
  #+beamer: \pause
- 固定 \( \omega _0 \in  \Omega \) 让 \(t\) 在 \(T\) 中变化， \(X( \omega _0,t)\)是定义 在 \(T\) 上的一个实函数，称之为对应于 \( \omega _0\) 的一个 *样本函数* 或者 *样本轨道* 。

*** 图示
#+Attr_LaTeX: :height 4cm
[[./fig/stochastic-process.pdf]]
\[ X( \omega ,t) \equiv \Omega \ni \omega \to X(t) \]
#+beamer: \pause
随机过程\(\{X( \omega ,t): \omega \in \Omega ,t \in T\}\)四种不同情况下的意义：
| \(X( \omega ,t)\) | \(t\) 固定   | \(t\) 可变     |
|---------------+----------+------------|
| \(\omega\) 固定   | 确定值   | 样本函数   |
| \(\omega\) 可变   | 随机变量 | *随机过程* |

*** 分布函数族
#+latex: \begin{itembox}[l]{定义}
设随机过程 \(\{X(t):t \in T\}\)，对每一个固定的 \(t \in T\)，
\[F_X (x,t)=P(X(t) \leq x), x \in  \mathbb{R} \]
称为随机过程\(\{X(t):t \in T\}\)的一维分布函数，\(\{F_X(x,t):t \in T\}\)称为 *一维分布函数族* 。
#+latex: \end{itembox}

*** 随机过程的数字特征
给定随机过程\(\{ X_\omega(t), \omega \in \Omega, t \in T\}\):

- *均值函数* :: \( \mu _X (t)=\E_\omega[X_\omega(t)]\)
- *均方值函数* :: \( \Psi _X^2(t)= \E_\omega[X_\omega^2 (t)]\)
- *方差函数* :: \( \sigma _X^2(t)=\Var_X (t)=\E_\omega[X_\omega(t)− \mu _X (t)]^2\)
- *标准差函数* :: \( \sigma _X(t)= \sqrt {\Var_X (t)}\)
- *相关函数* :: \(R_X(s,t)=\E_\omega[X_\omega(s)X_\omega(t)] \)
  \[ R_X(t,t) = \Psi^2_X(t) \]
- *协方差函数* :: \( C_X(s,t)=\Cov[X(s),X(t)] \)
  
*** 例：独立增量过程
#+latex: \begin{itembox}[l]{阿荼扫过的人数}
设\(X(t)\)为截至\(t\)时刻，阿荼通过自动测温仪的累计总人数。
#+latex: \end{itembox}
#+beamer: \pause
- 增量\(X(t_2 )−X(t_1 )\)表示在时间区间\((t_1,t_2]\)测量体温的人数。
- 不相交的时间区间的增量是相互独立的。

#+Attr_LaTeX: :height 4cm
[[./fig/independent-increment.pdf]]

*** 独立增量过程：定义
#+latex: \begin{itembox}[l]{独立增量过程}
设\(\{X(t),t \in T\}\)是一随机过程，若\( \forall t_1< \cdots <t_n (n \geq 2,t_i \in T)\) 诸增量
\[ X(t_2 )−X(t_1 ), X(t_3 )−X(t_2 ),  \cdots , X(t_n)−X(t_{n−1} ) \]
相互独立，则称\(\{ X(t),t \in T\}\)是一个 *独立增量过程* 。
#+latex: \end{itembox}
#+beamer: \pause
**** 性质
若 \(\{X(t):t \in T\}\) 是独立增量过程，且\(X(0)=0\)，则：
1. \(X(t)\) 的有限维分布函数族可以由增量\(X(t)−X(s)(0 \leq s \leq t)\) 的分布所确定 
2. 设 \(\Var_X (t)\) 已知，则 \(C_X(s,t)=\Var_X[\min(s,t)]\)

*** 泊松过程案例特点
- 随机点过程 :: 如“来到银行要求服务的顾客流”，“在一段时间内机器故障产生的故障流”等等。
  #+beamer: \pause
- 计数过程 :: \(N(t)\)表示在\([0,t]\)内随机点(事件)发生的数目，\(N(t)\)即为一计数过程。
  如，阿荼测体温的例子中，\(X(t)\)表示截至\(t\)时刻累计测体温的人数。
*** 泊松过程定义
#+latex: \begin{itembox}[l]{泊松过程}
计数过程 \(\{N(t),t \geq 0\}\)称为强度 \lambda ( \lambda >0)的 *时齐泊松过程* (homogeneous Poisson process)，若满足：

1. \(N(0)=0\)
   #+beamer: \pause
2. \(\{N(t),t \geq 0\}\) 是\(时齐\)的\(独立增量过程\)
   #+beamer: \pause
3. 对任意\(t>0\)和充分小的\( \Delta t>0\),有
   - \(P[N(t+ \Delta t)−N(t)=1]= \lambda  \Delta t+o( \Delta t)\)
   - \(P[N(t+ \Delta t)−N(t) \geq 2]=o( \Delta t)\)
   其中\(o( \Delta t)\)是\( \Delta t\)的无穷小，即\(\displaystyle{\lim_{ \Delta t \to 0}\frac{o( \Delta t)}{ \Delta t}=0} \)
#+latex: \end{itembox}

称为 *泊松过程* ，任意长度为\(t\)的区间中时间个数服从均值\( \lambda t\)的泊松分布。
*** 定理
#+latex: \begin{itembox}[l]{例}
设 \(\{N(t):t \geq 0\}\)是一个强度为 \( \lambda \)的泊松过程，则 \(N(t)\) 的一维分布是参数为\( \lambda t\)的泊松分布,即对任意 \(t>0\)有
\[ P[N(t)=k] = \frac{(\lambda t)^k}{k!} e^{-\lambda t}, k=0,1,2,\cdots \]
#+latex: \end{itembox}
#+beamer: \pause
数字特征：
#+begin_export latex
\begin{equation*}
  \begin{aligned}
 \mu _N (t)=&  \lambda t \\
\Var_N (t)= &  \lambda t \\
C_N (s,t)= &  \lambda  \min(s,t)
  \end{aligned}
\end{equation*}
#+end_export
*** 二项分布视角
#+attr_beamer: :overlay <+->
- 将区间\([0,t]\)分为\(k\)份。
- 当 \(k \to  \infty \) 时，根据定义有\(P[N(s+ \Delta t)−N(s) \geq 2]=o( \Delta t)\)，即任意一个区间内包含两个或者两个以上的事件概率趋于\(0\).
- \(N(t)\)（以趋于\(1\)的概率）等于恰好含有一个事件的子区间的个数，服从二项分布\((k,p)\)  且 \(\displaystyle{p=\frac{ \lambda t}{k}+ o \left(\frac{t}{k}\right)}\)
- \(N(t)\)服从参数为\((k,p)\) 的二项分布，均值函数
  \[  \mu _N (t)=\lim_{k \to  \infty } kp=\lim_{k \to  \infty } k\left[\frac{ \lambda t}{k}+ o \left(\frac{t}{k}\right)\right]= \lambda t+ o (t) \]

*** 指数分布视角
- 将泊松过程第\(n\)个事件发生时刻记为 \(T_n\)。
- 记\(W_n＝T_n−T_{n−1}\)为第\(n\)个事件的等待时间，特别地 \(W_1  =T_1\)。
**** 泊松过程的指数间隔                                           :B_theorem:
:PROPERTIES:
:BEAMER_env: theorem
:END:
\(W_n (n=1,2, \cdots )\)独立地服从参数为\( \lambda \)的指数分布。

#+attr_beamer: :overlay <+->
- 考虑 事件 \(\{W_1>t\}\)，即区间\([0,t]\)中无事件，根据定义有
  \[ P(W_1>t)=P(N(t)=0)=\frac{( \lambda t)^0}{0!} e^{− \lambda t} =e^{− \lambda t} \]
- 由全概率公式，\(P(W_2>t)=\E_{T_1}[P(T_2>t|T_1)]\)
  #+begin_export latex
  \begin{equation*}
    \begin{aligned}
      P(W_2>t|T_1=s) = & P[(s,s+t]\text{中无事件}|T_1=s] \\
      = & P[(s,s+t]\text{中无事件}] \text{（由独立增量）}
      = & e^{− \lambda t}
    \end{aligned}
  \end{equation*}
  #+end_export
*** 逆命题成立
**** 泊松过程判定                                                 :B_theorem:
:PROPERTIES:
:BEAMER_env: theorem
:END:
给定参数为\( \lambda \)的独立同分布指数随机变量列\(\{W_n\}\)。称第\(n\)个事件在时间 \(T_n=W_1+W_2+ \cdots +W_n\) 发生\((S_0=0)\)，得到
\[N(t)=\max(n|T_n \leq t),t \geq 0\]
是强度为\( \lambda \)的时齐泊松过程。
*** 例：泊松过程的二维分布
#+latex: \begin{itembox}[l]{例}
设\(\{N(t),t \geq 0\}\)是一个强度为\( \lambda \)的泊松过程，求\(N(t)\)的二维分布。
#+latex: \end{itembox}
#+beamer: \pause
对任意 \(t \geq s > 0\)，
#+begin_export latex
\begin{equation*}
  \begin{aligned}
    & P[N(s)=i, N(t)=j] \\
    = & P[N(s)=i, N(t) - N(s) = j-i] \\
    = & P[N(s)=i] P[N(t) - N(s) = j-i] \text{：独立增量性}\\
    = & P[N(s)=i] P[N(t-s) = j-i] \\
    = & \frac{(\lambda s)^i}{i!} e^{-\lambda s} \frac{[\lambda(t-s)]^{j-i}}{(j-i)!} e^{-\lambda(t-s)}
  \end{aligned}
\end{equation*}
#+end_export
*** 非齐次泊松过程
从常数的增量，拓展为任意非负函数的增量。

#+begin_export latex
\begin{equation*}
  \begin{aligned}
    \mu_N(t) & = \lambda t = \int_0^t \lambda \mathrm{d} s \\
    \to \mu_N(t) & = \int_0^t R(s) \mathrm{d} s
  \end{aligned}
\end{equation*}
#+end_export

- 方差函数等于均值函数。
\[ \Var_N(t) = \mu_N(t) \]

** probe 历史经验
*** Probe 的回顾
- 理念（张爱强）：使用 Poisson 点过程，统一探测器的时间和能量响应
**** 流派
- 分箱 Poisson 回归（王宇逸），GAM Poisson 回归（郝传晖）
  + 优点：易于理解，有效，GAM 获得成功（大作业示例代码）
  + 缺点：运算速度尚未优化
- 函数基拟合（续本达）
  + 种类：指数型（窦威）、平方型（武益阳）、混合型（刘学伟）、棍子状（徐闯）
  + 拟合方法：Markov Chain Monte Carlo（续本达）、凸优化（武益阳）
  + 优点：自由参数个数可控
  + 缺点：有正交多项式的 Gibbs 波动残留，效果不够理想
  + 参考：https://gitlab.airelinux.org/tjjk/proposal/-/tree/master/probe
- 直方图（窦威）
  + 优点：最有效的模型，还原度高
  + 缺点：自由参数过多，刻度困难
  + 参考：https://gitlab.airelinux.org/douwei/thesis
*** 流派（二）
- 神经网络光（武益阳），Gradient Boosting Machine 光（温欣洋、孙博远）
  + 优点：对物理更深入一层，以光为单元建模，与发光曲线解耦，GBM 获得成功
  + 缺点：下一步应适配到 Poisson 分布
  + 参考：https://gitlab.airelinux.org/wuyy/bachelorthesis
    - https://gitlab.airelinux.org/tjjk/proposal/-/tree/master/light_probe
- 手调反射（窦威）
  + 优点：符合物理世界，模型精准
  + 缺点：手扶拖拉机，探测器变了得重调，不调会翻车
  + 参考：https://gitlab.airelinux.org/douwei/thesis
- Normalized flow（武益阳）
  + 优点：上深度神经网络，理论上能拟合一切函数
  + 缺点：不成功
  + 参考：没找到，在哪里？
*** 流派（三）
- 光线（续本达）
  + 优点：自然产生平方反比
  + 缺点：不知道行不行
  + 参考：http://dpcraid.g.airelinux.org/meetings/TJJK/20220521-%E5%85%89probe.mp4
- 模拟退火（续本达）
  + 优点：不必显式写出 likelihood 函数，用模拟代替
  + 缺点：不知道行不行
  + 参考：https://dpcg.g.airelinux.org/user/xubd/lab/workspaces/auto-i/tree/annealing.ipynb
- 神经网络 probe （温欣洋、汪卓然）
  + 优点：likelihood 由神经网络逼近
  + 缺点：得分不高

** 广义加性模型
*** GAM与GLM的关系
- GLM模型（广义线性模型）
  + 模型形式：
    \begin{equation*}
    g\left(\mathbb{E}[y|\bm{x}]\right) = \beta_0 + \sum_{j=1}^p \beta_j x_j
    \end{equation*}
  + 线性预测项限制建模灵活性 

- GAM扩展（广义可加模型）
  + 模型形式：
    \begin{equation*}
    g\left(\mathbb{E}[y|\bm{x}]\right) = \beta_0 + \sum_{j=1}^p \textcolor{red}{f_j(x_j)}
    \end{equation*}
  + 特点：
    - $f_j$ 为平滑函数（通常用样条实现） 
    - 保持可加性但允许非线性关系 
    - 允许多变量耦合的张量积函数 

*** 样条(Spline)基展开
**** 三次样条基展开
\begin{equation*}
f_j(x_j) = \sum_{k=1}^{m_j} \beta_{jk} B_k(x_j) \quad \Rightarrow \quad \bm{f}_j = \bm{X}_j \bm{\beta}_j
\end{equation*}

- $\bm{X}_j$ ：$n \times m_j$ 设计矩阵
- $\bm{\beta}_j$ ：$m_j \times 1$ 系数向量

\begin{equation*}
\int [f''_j(x_j)]^2 dx_j = \bm{\beta}_j^T \bm{S}_j \bm{\beta}_j
\end{equation*}

*** 拟合算法P-IRLS
- 初始化：用GLM估计初始参数

- 迭代步骤：
  \begin{equation*}
  \begin{aligned}
    z_i &= \eta_i + (y_i-\mu_i)\frac{d\eta_i}{d\mu_i} \quad \text{(工作响应变量)} \\
    W_{ii} &= \left(\frac{d\mu_i}{d\eta_i}\right)^2 \text{Var}(y_i)^{-1}
  \end{aligned}
  \end{equation*}

- 惩罚加权最小二乘：
  \begin{equation*}
  \min_{\bm{\beta}} ||\bm{z} - \bm{X}\bm{\beta}||^2_{\bm{W}} + \sum_j \lambda_j \bm{\beta}_j^\mathsf{T}\bm{S}_j\bm{\beta}_j
  \end{equation*}

*** 自由度与参数惩罚
**** 有效自由度(EDF)的数学本质
\begin{equation*}
\text{EDF}_j = \text{tr}\left(\bm{H}_j\right) = \text{tr}\left(\bm{X}_j(\bm{X}_j^T\bm{W}\bm{X}_j + \lambda_j\bm{S}_j)^{-1}\bm{X}_j^T\bm{W}\right)
\end{equation*}

- 帽子矩阵 $\bm{H}_j$ 的构成：
  + 来自加权最小二乘解 $\hat{\bm{f}}_j = \bm{H}_j \bm{z}$
  + 类比线性回归：$\text{tr}(\bm{H})$ 即为模型自由度
  
- 惩罚项的影响：
  + $\lambda_j=0$ 时：$\bm{H}_j$ 为投影矩阵，$\text{EDF}_j = m_j$（基函数个数）
  + $\lambda_j>0$ 时：惩罚压缩有效参数空间


**** 惩罚参数的选取
REML方法或GCV方法选择$\lambda_j$。

*** Gradient Boosted 方法
- 介绍 GBM
  - 加性模型
  - 调用方法
  - 超参数含义
  - 超参数的 Bayesian 优化（可选）
  - 效果

** Gradient Boosting
*** 决策树基础原理
#+begin_export latex
\framesubtitle{CART (Classification and Regression Tree)}

\begin{columns}[T]
% 左栏：算法概述与特征选择
\column{0.45\textwidth}
\begin{block}{核心决策树算法}
\textbf{CART}：分类与回归树，采用多层级二叉树结构。
\end{block}

\textbf{特征选择指标}
\small
\begin{align*}
\text{信息增益} &: IG(D,A) = H(D) - H(D|A) \\
\text{基尼系数} &: Gini(D) = \sum_{i=1}^{n}p_i(1-p_i) \\
\text{均方误差} &: MSE(D) = \frac{1}{n}\sum_{i=1}^{n}(y_i - f(x_i))^2
\end{align*}
\footnotesize{其中 $H(D) = -\sum p_i\log_2 p_i$ 为信息熵}

% 右栏：CART算法步骤
\column{0.5\textwidth}
\begin{block}{CART回归树构建步骤}
\begin{enumerate}
\small
\item \textbf{最优切分选择}：

\[
\begin{aligned}    
\min_{j,s} [ 
&\min_{c_1} \sum_{x_i \in R_1} (y_i - c_1)^2 + \\
&\min_{c_2} \sum_{x_i \in R_2} (y_i - c_2)^2 
]
\end{aligned}
\]

$R_1 = \{x | x^j \leq s\}, R_2 = \{x | x^j > s\}$

\item \textbf{区域输出值}：
$\hat{c}_m = \frac{1}{N_m} \sum_{x_i \in R_m} y_i$

\item \textbf{递归划分}：直到满足停止条件

\item \textbf{生成决策树}：
$f(x) = \sum_{m=1}^{M} \hat{c}_m I(x \in R_m)$
\end{enumerate}
\end{block}
\end{columns}
#+end_export

*** 决策树增强方法 (Boosting Tree)
#+begin_export latex
\begin{block}{梯度提升方法}
\begin{itemize}
\item \textbf{迭代集成算法}：通过顺序构建弱学习器（通常为决策树）改进预测
\item \textbf{核心思想}：每轮迭代拟合减小前一轮的残差
\end{itemize}
\end{block}

Boosting Tree 原理：

\textbf{加性模型}：$ f(x) = \sum_{m=1}^{M} T(x; \Theta_m) $
，$T(x; \Theta_m) $为第m次迭代的树模型。
\begin{columns}[T]
\column{0.49\textwidth}
\textbf{训练过程}：
\begin{enumerate}
\small
\item 初始化 $f_0(x) = 0$
\item 计算残差：$r_{im} = y_i - f_{m-1}(x_i)$
\item 训练新树拟合残差：$\Theta_m = \arg\min_{\Theta} \sum L(y_i, f_{m-1} + T)$
\item 更新模型：$f_m = f_{m-1} + T_m$
\end{enumerate}

\column{0.49\textwidth}
\textbf{优化目标（以MSE为例）}
\small
\[
\begin{aligned}
\min_{j, s} [ 
&\min_{c_1} \sum_{x_i \in R_1} (y_i - c_1)^2 \\
&+ \min_{c_2} \sum_{x_i \in R_2} (y_i - c_2)^2 
]
\end{aligned}
\]
\begin{itemize}
\item $R_1, R_2$：特征切分点划分区域，采样多个切分点寻找最优$x^{opt}_s$
\end{itemize}
\end{columns}
#+end_export

*** 梯度增强树 (GBDT)
#+begin_export latex
\framesubtitle{Boosting Tree的优化扩展}

\begin{block}{与Boosting Tree的关键区别}
\begin{itemize}
\item \textbf{通用损失函数}：支持任意可微损失函数（平方损失、绝对损失、对数损失等），利用梯度进行优化。
\end{itemize}
\end{block}

\begin{block}{GBDT算法流程}
\begin{enumerate}
\item \textbf{初始化}：$f_0(x) = \arg \min_c \sum L(y_i, c)$
\begin{itemize}
\small
\item 平方损失时：$c = \frac{1}{N}\sum y_i$（目标均值）
\end{itemize}

\item \textbf{迭代训练（$m=1$ to $M$）}：
\begin{itemize}
\item 计算负梯度（伪残差）：
$ r_{mi} = -\left[\frac{\partial L(y_i, f(x_i))}{\partial f(x_i)}\right]_{f=f_{m-1}} $
\item 用$(x_i, r_{mi})$训练新树$T_m$（叶子区域$R_{mj}$）
\item 计算叶节点输出值：
$ c_{mj} = \arg \min_c \sum_{x_i \in R_{mj}} L(y_i, f_{m-1}(x_i) + c) $
\item 更新模型：$f_m(x) = f_{m-1}(x) + \sum_j c_{mj} I(x \in R_{mj}) $
\end{itemize}

\item \textbf{最终模型}：
$ \hat{f}(x) = f_0(x) + \sum_{m=1}^M \sum_{j=1}^J c_{mj} I(x \in R_{mj}) $
\end{enumerate}
\end{block}

\begin{columns}[T]
\column{0.5\textwidth}
\begin{exampleblock}{MSE特例}
当$L = \frac{1}{2}(y-f)^2$时：
\[
r_{mi} = y_i - f_{m-1}(x_i)
\]
\[
c_{mj} = \frac{1}{|R_{mj}|}\sum_{x_i \in R_{mj}} r_{mi}
\]
\end{exampleblock}

\end{columns}
#+end_export

*** 代码实现与核心超参数
| 语言   | 库                        |                        |
|--------+---------------------------+------------------------|
| Python | =bayes_opt=               | =BayesianOptimization= |
|        | =sklearn.model_selection= | =cross_val_score=      |
|        | =lightgbm.lgb=            | =LGBMClassifier=       |

#+begin_export latex
\begin{block}{关键超参数}
\begin{itemize}
\item \textbf{boosting\_type}: 提升算法类型（gbdt, dart, goss, rf）
\item \textbf{objective}: 学习任务目标（binary, multiclass, regression等）
\item \textbf{metric}: 模型评估指标（binary\_error, auc, mae等）
\item \textbf{num\_leaves}: 单棵树的最大叶节点数量（控制模型复杂度）
\item \textbf{learning\_rate}: 学习率/收缩因子（控制每棵树的贡献权重）
\item \textbf{feature\_fraction}: 特征采样比例（每棵树随机选择的特征占比）
\item \textbf{max\_depth}: 树的最大深度（-1表示无限制）
\end{itemize}
\end{block}
#+end_export

*** LightGBM 代码示例
#+begin_src python :results value :session local :exports both
train_data = lgb.Dataset(X_train, label=y_train)
test_data  = lgb.Dataset(X_test , label=y_test, reference=train_data)

params = {
    'boosting_type': 'gbdt',
    'objective': 'binary',
    'metric': 'binary_error',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9
}

gbm = lgb.train(params, train_data,
                num_boost_round=100,
                valid_sets=[test_data],
                early_stopping_rounds=10)

y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)
y_pred_binary = [1 if x > 0.5 else 0 for x in y_pred]
accuracy = accuracy_score(y_test, y_pred_binary)
#+end_src

*** 黑箱函数超参数优化策略（贝叶斯优化）
#+begin_export latex
1. \textbf{高斯过程代理模型}：建模目标函数$f(\mathbf{x})$，初始化观测点集 $\mathcal{D} = \{(\mathbf{x}_i,y_i)\}$
\[
f \sim \mathcal{GP}\left(0,\, k(\mathbf{x}, \mathbf{x}')\right), \quad
p(f_{*}|\mathcal{D}) = \mathcal{N}(\mu(\mathbf{x}_{*}),\, \sigma^2(\mathbf{x}_{*}))
\]

2. \textbf{采集函数}：指导采样点选择（EI为例）
\[
\alpha_{\text{EI}}(\mathbf{x}) = \mathbb{E}[\max(f-f^+,0)] = 
\underbrace{(\mu - f^+ - \xi)\Phi(Z)}_{\text{利用}} + 
\underbrace{\sigma\phi(Z)}_{\text{探索}}
\]
其中 $Z=\frac{\mu-f^+-\xi}{\sigma}$，$f^+$为当前最优值

3. \textbf{更新参数}：最大化采集函数优化参数
\[ 
\mathbf{x}_{new} = \arg\max \alpha(\mathbf{x})
\]
更新评估目标函数$y_{new} = f(\mathbf{x}_{new})$，
更新数据集$\mathcal{D} \leftarrow \mathcal{D} \cup \{(\mathbf{x}_{new},y_{new})\}$
重复直至收敛。
#+end_export

*** LightGBM调优实战：模型与目标函数定义
#+begin_src python :results value :session local :exports both
def lgb_cv(n_estimators, min_gain_to_split, subsample, 
           max_depth, colsample_bytree, min_child_samples,
           reg_alpha, reg_lambda, num_leaves, learning_rate):
    model = lgb.LGBMClassifier(
        boosting_type='gbdt', objective='binary',
        colsample_bytree=float(colsample_bytree),
        min_child_samples=int(min_child_samples),
        n_estimators=int(n_estimators),
        num_leaves=int(num_leaves),
        reg_alpha=float(reg_alpha),
        reg_lambda=float(reg_lambda),
        max_depth=int(max_depth),
        subsample=float(subsample),
        min_gain_to_split=float(min_gain_to_split),
        learning_rate=float(learning_rate))
    return cross_val_score(model, train_x, train_y, 
                         scoring="roc_auc", cv=5).mean()
#+end_src

*** LightGBM调优实战：使用BayesianOptimization库实现
**** l                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src python :results value :session local :exports both
lgb_bo = BayesianOptimization(
    lgb_cv,
    {
        'colsample_bytree': (0.5,1),
        'min_child_samples': (2,200),
        'num_leaves': (5,1000),
        'subsample': (0.6,1),
        'max_depth':(2,10),
        'n_estimators':(10,1000),
        'reg_alpha':(0,10),
        'reg_lambda':(0,10),
        'min_gain_to_split':(0,1),
        'learning_rate':(0,1)
    })
#+end_src
**** r                                                                :BMCOL:
:PROPERTIES:
:BEAMER_col: 0.5
:END:
#+begin_src python :results value :session local :exports both
lgb_bo.maximize(
    n_iter=50,         # 迭代次数
    init_points=10,     # 初始随机点
    acq='ei',           # 采集函数(EI)
    kappa=2.576,        # 探索系数
    xi=0.1              # 利用系数
)
best_params = lgb_bo.max['params']
#+end_src

** 可微编程
*** 可微编程
把程序的函数看成数学函数，让函数输出的返回值相对于输入参数可微。

#+begin_export latex
\begin{equation*}
  y = f(x) \to \dfrac{\mathrm{d} f}{\mathrm{d} x}
\end{equation*}
#+end_export

自动进行解析微分。

- PyTorch
  #+begin_src bash
apt install python3-torch
  #+end_src
  + CPU 版本，GPU 版本在 WSL 之内不容易安装，建议申请科协服务器账号。
** 概率编程
*** 概率编程
#+begin_export latex
\begin{equation*}
  y = f(x) \to Y=F(X)
\end{equation*}
#+end_export
把普通函数关系，自动换成随机变量之间的函数关系。

**** 自动推理机
  + 利用第一阶段大作业成果，直接生成第二阶段大作业的解答程序
  + 语言为 Anglican ，为 Clojure 语言的一种
  + Clojure 语言是 Scheme 语言在 Java 平台上的实现

** 总复习
*** 黑客技能
**** 科学数据处理的原则                                        :B_alertblock:
     :PROPERTIES:
     :BEAMER_env: alertblock
     :END:
     黑客的审美： _复现_ _透明_ _一次_ _最佳工具_

**** 版本控制
     Git 与队友分工协作，与明天的自己协作

     Git 是“搬砖工地安全帽”，无头盔禁止上岗

**** 关系代数
     数据表示成关系，数据的操作表示成关系代数运算

**** 数据格式
     _透明_ CSV, HDF5, JSON, 数据库 SQL
*** 黑客技能（二）
**** 数据流水线
     GNU Make 管理数据的依赖与转换，实现错误恢复和并行计算

     实现数据层次的 Python/R/Bash/Scheme/SQL 多语言融合

**** 正则表达式
     描述字符串的微型语言，数学模型

**** 命令环境
     POSIX 环境中强大的小工具组合，开发与使用相融合
    
**** 计算语言
     Python 语法友好，工具丰富，统领 C/C++/Fortran/R/SQL 库

*** 技术问题：TUNA 协会
    - 清华大学学生开源软件与网络技术协会
    - TUNA 主页 https://tuna.moe/
    - TUNA 技术群，黑客（广义）技术问题探讨
    - 为课程提供了
      + Debian 的镜像支持

        https://mirrors.tuna.tsinghua.edu.cn/debian/

    - 为大家提供了
      + 清华大学学位论文 LaTeX 模版 =thuthesis=
*** 致谢
    #+attr_beamer: :overlay <+->
    - 助教 :: 王宇逸、徐闯、郝传晖、刘逸祺、胡宇阳、张珺铫、何宇峰、杨哲涵、温欣洋
    - 科协 :: 物理系科协、工物系科协；
      + 提供算力支持
      + 环境配置培训
    - 积极对课程贡献的小助教和同学们 :: 谢谢！
** 现实世界的大数据方法
*** 永远留在古老的计算环境
    - SuperK 质子衰变和中微子实验，XMASS 暗物质实验
    - 问题
      1. 数据处理技术发展停滞，违反“最佳工具”原则
      2. 新成员需要花精力学习旧技术，人力浪费
    #+beamer:\pause
    - 解决方案：test-driven development

*** 自制 Python 驱动的批量处理流水线
    - 症状问题
      1. 使用 Python 调用大量 shell 命令，程序可读性差，违反“最佳工具”原则
         #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
           for name in args.name:
             if name not in productions:
               print('Unknown production: ' + name)
               continue
             for script in productions[name]:
               parg = arguments + ' --name %s ' % name
               print('python %s %s' % (script, parg))
               os.system('python %s %s' % (script, parg))
         #+end_src
      2. 流水线验证 flag 文件是否存在来确定是否成功执行，误判多，难以 debug
    #+beamer:\pause
    - 解决方案：使用 GNU Make 构建流水线
      - =make= 默认使用 =/bin/sh= 执行命令。 =SHELL=/bin/sh=
      - 把 =SHELL= 换成提交任务给超级计算机集群的脚本
        #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
          SHELL=lsf
          export MAKE_TARGET=$@
          export MAKE_SOURCE=$^
        #+end_src
*** =make= 对接集群的脚本
    #+begin_src ein-bash :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture.ipynb :exports both
      #!/home/jinping/gentoo/bin/bash -e
      # Platform LSF wrapper to be used as GNU Make shell.

      # GNU Make convention for the first argument.
      [[ ${1} = '-c' ]] && shift

      for j in ${MAKE_SOURCE}; do
          [[ -z $(bjobs -J ${j}) ]] && continue
          DEP+=" && done(${j})" # 把 make 中的依赖关系传递给调度系统
      done

      cat << EOF > ${MAKE_TARGET}.sh
      #!/home/jinping/gentoo/bin/bash
      $@
      EOF

      chmod +x ${MAKE_TARGET}.sh

      bsub -q normal"${DEP}" -J ${MAKE_TARGET} -o ${MAKE_TARGET}.log ${MAKE_TARGET}.sh
    #+end_src

*** 数据的可复现性价值
From: superk@suketto.icrr.u-tokyo.ac.jp
Subject: [superk:08394] Re: your group's recent paper on "Searching for Supernova Bursts in Super-Kamiokande IV"
To: David Wark <dave.wark@physics.ox.ac.uk>
Cc: nakahata@icrr.u-tokyo.ac.jp, "superk@suketto.icrr.u-tokyo.ac.jp" <superk@suketto.icrr.u-tokyo.ac.jp>
Date: Thu, 27 Oct 2022 20:24:50 +0900 (1 hour, 18 minutes, 15 seconds ago)
Reply-To: nakahata@icrr.u-tokyo.ac.jp
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:102.0) Gecko/20100101 Thunderbird/102.4.1


Dear Dave and others,

Probably, I should let you know the problem of his paper about Kamiokande-II data.
As written in his paper(http://journals.andromedapublisher.com/index.php/LHEP/article/view/199/99),
he digitized Fig.4(a)-(h) of the Kamiokande paper
(K. S. Hirata, et al. (Kamiokande collaboration), Phys. Rev. D38, 448-458(1988))
by himself and analyzed with that data. The figure is plots of "time vs.energy (Nhit)"
around the time of the SN1987A signal. But, those plots are before applying spallation
cuts. After applying spallation cuts, most of higher energy (>~7MeV) events disappeared
and only the SN1987A signal remained as a significant time cluster during this run
(also at least during 42.9days before SN1987A).
I think his "8 MeV line" will disappear if we can apply the spallation cut.
I told him about that several years ago. Then, he asked me to reanalyze the Kamiokande
data. But, unfortunately that was not possible because we have lost key libraries to
read the data (routine to read BOS (DESY library) format data, calibration database,
conversion from old floating number to the current format, and etc.)
That is why he digitized the figure in printed format by himself.

From this experience, I learned that we should maintain all routines to reanalyze important
data for many many years even after the experiment is finished, especially for Nobel prize class data.

Regards,
M. Nakahata

** 机器学习
*** 可用 sklearn
- Debian
  #+begin_src bash
    apt install python3-sklearn-pandas
  #+end_src

- 下面的算法可以理解为无解析形式的函数逼近。
*** 支持向量机
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      ### SVM regression
      from sklearn.svm import SVR
      from sklearn.pipeline import make_pipeline
      from sklearn.preprocessing import StandardScaler
      regr = make_pipeline(StandardScaler(), SVR(C=1.0, epsilon=0.2))
      regr.fit(X, y)
    #+end_src
*** 决策树
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      ### GBoost
      from sklearn.ensemble import GradientBoostingRegressor
      from sklearn.model_selection import train_test_split
      X_train, X_test, y_train, y_test = train_test_split(
          X, y, random_state=0)
      reg = GradientBoostingRegressor(random_state=0)
      reg.fit(X_train, y_train)
      reg.predict(X_test[1:2])
      reg.score(X_test, y_test)
    #+end_src
*** 神经网络
    #+begin_src ein-python :results output :session https://dpcg.g.airelinux.org/user/xubd/lecture-python.ipynb :exports both
      ### 神经网络
      from sklearn.neural_network import MLPRegressor
      regr = MLPRegressor(random_state=1, max_iter=500).fit(X_train, y_train)
      regr.predict(X_test[:2])
      regr.score(X_test, y_test)
    #+end_src

* 地球中微子暑期学校学生课题
  :PROPERTIES:
  :EXPORT_FILE_NAME: px
  :EXPORT_DATE: 2024-08-26 清华
  :EXPORT_BEAMER_HEADER+: \author{地球中微子暑期学校组委会}
  :EXPORT_BEAMER_HEADER+: \setbeamertemplate{footline}[frame number]
  :EXPORT_BEAMER_THEME: Hannover
  :EXPORT_BEAMER_FONT_THEME: professionalfonts
  :END:
** 动机
*** 动机
1. 激励学生成为暑期学校的主角
2. 鼓励暑校学生的校际交流合作
3. 检验暑校的成效
#+beamer: \pause
**** 组织形式
- 自由组队，自主选题确定报告内容
- 组委会提供课题参考列表

** 课题参考列表
*** 地球中微子通量计算和模型误差估计
**** 类型：计算实践
- 使用 GEONU 软件包完成一项地球中微子通量计算。

- 软件包
  + 语言：MATLAB
  + https://github.com/LSKgeo/Geonutest

    #+begin_example
      This version will run standard geoneutrino flux calculations to
      completion for one of six detectors (Borexino, KamLAND, SNO+, JUNO,
      CJPL, and Hawaii). The "Visualizing the Results" section has not yet
      been developed.
    #+end_example
- 考虑获得计算结果后，为 GEONU 贡献绘图代码。
- 教程
  https://hep.tsinghua.edu.cn/~orv/video/geonu.mp4

*** 地球中微子之外的新交叉研究方向
**** 类型：调研
- 调研地球科学的新技术与新学科交叉方向，推荐以一篇论文的调研为主线。
  + 宇宙线缪子成像

*** 地球中微子测量结果的总结和讨论
**** 类型：调研
- 调研地球中微子测量实验的研究成果，推荐以一篇已发表论文的调研为主线。
  + KamLAND U/Th 地球中微子测量
  + Borexino U/Th 地球中微子测量
  + 未来地球中微子测量计划
    + SNO+、JUNO（江门中微子实验）、JNE（锦屏中微子实验）
#+beamer: \pause
**** 类型：调研
  + IceCube 大气中微子地核电子数密度测量
    + KM3Net、HUNT、海铃的相关计划
#+beamer: \pause
**** 类型：调研
+ 测量地球中微子的新方案
  + 来自 K、Rb 的中微子
  + 地球中微子方向测量

*** 地球中微子探测的应用前景
**** 类型：调研、论述
- 以地球中微子为技术的可能性
  + 成像
  + 产业应用

** 评价
*** 时间安排与评价
1. 组队信息星期二下课前发送给 续本达 <orv@tsinghua.edu.cn>
   + 队伍名称
   + 队长姓名
   + 队伍成员（姓名、院校）每队 3--4 人
   + 课题选题

2. 星期五下午 13:30 -- 15:10 ，课题展示
   + 由组委会老师打分取平均

3. 队伍成员来源：
   + 一所院校 \(\times 0.98\)
   + 两所院校 \(\times 1\)
   + 三、四所院校 \(\times 1.03\)