Python 的反射机制

Python

对编程语言比较熟悉的朋友,应该知道"反射"这个机制.Python作为一门动态语言,当然不会缺少这一重要功能.下面结合一个 Web 路由的实例来阐述 Python 的反射机制的使用场景和核心本质.

一. 前言

def f1():
    print("f1是这个函数的名字!")
s = "f1"
print("%s 是个字符串"%s)

在上面的代码中,我们必须区分两个概念, f1 和 "f1" .前者是函数 f1 的函数名,后者只是一个叫 "f1" 的字符串,两者是不同的事物.我们可以用 f1() 的方式调用函数 f1 ,但我们不能用 "f1"() 的方式调用函数.说白了就是,不能直接通过字符串来调用名字看起来相同的函数!

二. Web 实例

考虑有这么一个场景,根据用户输入的 URL 的不同,调用不同的函数,实现不同的操作,也就是一个 URL 路由器的功能,这在 Web 框架里是核心部件之一.下面有一个精简版的示例:
首先,有一个 commons 模块,它里面有几个函数,分别用于展示不同的页面,代码如下:

def login():
    print("这是一个登录页面!")
def logout():
    print("这是一个退出页面!")
def home():
    print("这是网站主页面")

其次,有一个 Visit 模块,作为程序入口,接受用户输入,展示相应的页面,代码如下:
(这段代码是比较初级的写法)

import commons
def run():
    inp = input("请您输入您想访问的页面的 URL :").strip()
    if inp == "login":
        commons.login()
    elif inp == "logout":
        commons.logout()
    elif inp == "home":
        commons.home()
    else:
        print("404")
if __name__ == "__main__":
    run()

我们运行visit.py,输入 : home ,页面结果如下:

请输入您想访问页面的 URL : home
这是网站的主页面

这就实现了一个简单的 WEB 路由功能,根据不同的 URL ,执行不同的函数,获得不同的页面.
然而,让我们考虑一个问题,如果 commons 模块里成百上千个函数呢(这非常正常)?难道你在 visit 模块里写上成百上千个 elif ? 显然这是不可能的 ! 那么怎么破?

三. 反射机制

仔细观察 visit 中的代码,我们会发现用户输入的 URL 字符串和响应调用的函数名好像 ! 如果能用这个字符串直接调用函数就好了!但是,前面我们已经说了字符串是不能直接用来调用函数的.为了解决这个问题, Python 为我们提供了一个强大的内置函数 : getattr .我们将前面的代码修改一下,代码如下:

import commons
def run():
    inp = input("请输入您想访问的页面的 URL : ").strip()
    func = getattr(commons,inp)
    func()
if __name__ == "__main__":
    run()

首先说明一下 getattr 函数的使用方法: 它接收2个参数,前面的是一个对象或者模块,后面的是一个字符串,注意了,是个字符串
例子中,用户输入存储在 inp 中,这个 inp 就是个字符串, getattr 函数让程序去 commons 这个模块里,寻找一个叫 inp 的成员(是叫,不是等于),这个过程就相当于我们把一个字符串变成一个函数名的过程.然后,吧获得的记过赋值给 func 这个变量,实际上 func 就指向了 commons 里的某个函数.追后通过调用 func 函数,实现对 commons 里函数的调用.这完全就是一个动态访问的过程,一切都不写死,全部根据用户的输入来变化.
执行上面的代码,结果和最开始的是一样的.
这就是 Python 的反射,它的核心本质其实就是利用字符串的形式去对象(模块) 中操作(查找/获取/删除/添加) 成员,一种基于字符串的时间驱动!

四. 进一步完善

上面的代码还有个小瑕疵,那就是如果用户输入一个非法的 URL ,不如 jpg ,由于在 commons 里没有同名的函数,肯定会产生运行错误,具体如下:

请输入您想访问页面的 URL :jpg
Traceback (most recent call last):
  File "F:/Python/pycharm/s13/reflect/visit.py", line 16, in <module>
    run()
  File "F:/Python/pycharm/s13/reflect/visit.py", line 11, in run
    func = getattr(commons,inp)
AttributeError: module 'commons' has no attribute 'jpg'

那怎么办呢?其实, Python 考虑的很全面了,它同样提供了一个叫 hassttr 的内置函数,用于判断 commons 中是否具有某个成员.我们将代码修改一下:

import commons
def run():
    inp = input("请输入您想要访问的页面的 URL : ").strip()
    if hasattr(commons,inp):
        func = getattr(commons,inp)
        func()
    else:
        print("404")
if __name__ == "__main__":
    run()

通过 hasattr 的判断,可以防止非法输入错误,并将其统一定位到错误页面.
其实,研究过 Python 内置函数的朋友,应该注意到还有 delattr 和 setattr 两个内置函数.从字面上已经很好理解他们的作用了.
Python 的四个重要内置函数 : getattr,hasattr,delattr和setattr较为全面的实现了基于字符串的反射机制.他们都是对内存内的模块进行操作,并不会对源文件进行修改.

五. 动态导入模块

上面的例子是在某个特定的目录结构下才能正常实现的,也就是 commons 和 visit 模块在同一目录下,并且所有的页面处理函数都在 commons 模块内.如下图

reflect
    |------ commons.py
    |------ visit.py

但在现实使用环境中,页面处理函数往往被分类放置在不同目录的不同模块中,也就是如下图:

reflect
    |-------- account.py
    |------------|------ check_info()
    |------------|------ fine()
    |-------- commons.py
    |------------|------ home()
    |------------|------ login()
    |------------|------ logout()
    |-------- manage.py
    |------------|------ add_user()
    |-------- visit.py
    |------------|------ run()

难道我们要在 visit 模块里写上一大堆的 import 语句逐个导入 account ,manage,commons 模块吗?要是有 1000 个这种模块呢?
刚才我们分析完了基于字符串的反射,实现了动态的函数调用功能,我们不禁会想那么能不能动态导入模块呢?这完全是可以的!
Python 提供了一个特殊的方法: import(字符串参数) . 通过它,我们就可以实现类似的反射功能. import() 方法会根据参数,动态的导入同名的模块.
我们再修改一下上面的 visit 模块的代码.

def run()
    inp = input("请输入您想访问页面的 URL: ").strip()
    modules,func = inp.split("/")
    obj = __import__(modules)
    if hasattr(obj,func):
        func = getattr(obj,func)
        func()
    else:
        print("404")
if __name__ == "__main__":
    run()

运行一下:

请输入您想访问页面的 URL :commons/home
这是网站主页面!
请输入您想访问页面的 URL :account/find
这是一个查找功能页面!

我们来分析一下上面的代码:

首先,我们并没有定义任何一行 import 语句;

其次,用户的输入 inp 被要求为类似 "commons/home" 这种格式,其实也就是模拟 Web 框架里的 RUL 地址,斜杠左边指向模块名,右边指向模块中的成员名.

然后,modules,func = inp.split("/") 处理了用户输入,是我们获得的 2 个字符串,并分别保存在 modules 和 func 变量里.

接下来,最关键的是 obj = import(modules) 这一行,它让程序导入了 modules这个变量保存的字符串同名的模块,并将它赋值给 obj 变量.

最后的调用中,getattr 去 modules 模块中调用 func 成员的含义和以前是一样的.

总结 : 通过 import 函数,我们是实现了基于字符串的动态的模块导入.

同样的,这里也有个小瑕疵!
如果我们的目录结构是这样的:

reflect
    |--------- lib
    |-----------|-------- account.py
    |-----------|-------- commons.py.py
    |-----------|-------- manage.py
    |--------- visit.py

那么在 visit 的模块调用语句中,必须进行修改,我们想当然地会这么做 :

def run():
    inp = input("请输入您想访问的页面的 URL : ").strip()
    modules,func  = inp.split("/")
    obj = __import__("lib." +　modules)     # 注意字符串的拼接
    if hasattr(obj,func):
        func = getattr(obj,func)
        func()
    else:
        print("404")
if __name__ == "__main__":
    run()

改了这么一个地方:obj = __import__("lib." + modules),看起来似乎没什么问题和 import lib.commons 的传统方法类似,但实际运行的时候会有错误.

请输入您想访问页面的 URL :commons/home
404
请输入您想访问的页面的 RUL: commons/find
404

为什么呢?因为对于 lib.xx.xxx.xxx 这一类的模块导入路径, import 默认只会导入最开头的圆点左边的目录,也就是"lib".我们可以做个测试,在 visit 同级目录内新建一个文件,代码如下:

obj = __import__("lib.commons")
print(obj)

执行结果:

<module 'lib' (namespace)>

这个问题怎么解决呢?加上 fromlist = True 参数即可!

def run():
    inp = input("请输入您想访问页面的 URL: ").strip()
    modules,func = inp.split("/")
    obj = __import__("lib."+ modules,fromlist=True)     # 注意 fromlist 参数
    if hasattr(obj,func):
        func = getattr(obj,func)
        func()
    else:
        print("404")

至此,动态导入模块的问题基本都解决了,只剩下最后一个,那就是万一用户输入错误的模块名呢?比如用户输入了 somemodules/find,由于实际上不存在 somemodules 这个模块,必然会报错! 那么有没有类似上面 hasattr 内置函数这么个功能呢?答案是没有!碰到这种,你只能通过异常处理来解决.

六. 最后的思考

可能有人会问 Python 不是又两个内置函数 exec 和 eval 吗?他们同样能够执行字符串.比如:

exec("print('haha')")
结果:
haha

那么直接使用它们不行吗?非要那么费劲的使用 getattr, import 干嘛?
其实,在上面的例子中,围绕的核心主题是如何利用字符串驱动不同的事件,比如导入模块,调用函数等等,这些都是 Python 的反射机制,是一种编程方法,设计模式的体现,凝聚了高内聚,低耦合的编程思想,不能简单地用执行字符串来代替.当然 exec 和eval 也有它的舞台,在 Web 框架里也经常被使用.