python2.7多进程 python多进程进程池
本文探讨了在Windows环境下使用Python的多进程时，动态创建的类无法被子进程创建正确的序列化和反序列化的问题。通过分析错误原因，本文提供了一种解决方案，确保动态创建的类可以在父进程中定义，并在子进程中安全地使用，同时避免重复创建创建带来的灵魂回收。
在Windows下使用Python的多处理模块时，动态创建的类无法被子进程创建正确的序列化和反序列化的问题。该类在进程间提交时可能会遇到PicklingError或AttributeError。这是因为Windows下的多进程机制依赖于pickle模块进行对象的序列化和反序列化，而动态创建的类可能无法正确定位和加载。
问题分析
错误信息通常类似于：
立即学习“Python免费笔记学习（研究）”；_pickle.PicklingError： Can't pickle lt；class '__main__.HandlerClass'gt；：attribute Lookup HandlerClass on __main__ failed登录后复制
或者AttributeError：Can't get attribute 'HandlerClass' on lt；模块“测试”来自'C：\Projects\winmp\test.py'gt；登录后复制
这表明pickle模块在尝试序列化或创建反序列化动态的类时，无法在主模块(__main__或你的脚本文件)中找到该类。因为这通常是动态创建的的类并没有被正确地添加到模块的命名空间中。
解决方案
关键保证确保动态创建的类在主模块的命名空间中可用，并且其名称与__qualname__属性一致。以下是一种推荐的解决方案：在主进程中定义动态类：确保动态类的创建发生在主进程的全局作用域内，而不是在函数内部。将动态类赋值给正确的变量名：动态类的变量名需要和类型的第一个参数（类名）保持一致。避免在子进程中重复创建：将创建好的类作为参数传递给子进程中，而不是在子进程中重新创建。
示例代码import multiprocessingimport sysclass Handler： pass# 在主进程中动态创建类，并赋值给HandlerClassHandlerClass = type('HandlerClass'， (int， Handler)，{quot；constquot；： [123]})print('此处构造的HandlerClass'， HandlerClass)def stream_process(H)： h = H() print(h.from_bytes(b'a'， quot；bigquot；)) print(h.const)if __name__ == quot；__main__quot；：processes = [ multiprocessing.Process(target=stream_process， args=( HandlerClass，)， name=fquot；server #{i}quot；) for i in range(4) ] for process in paths： process.start() for process in paths： process.join()登录后复制
代码解释HandlerClass = type('HandlerClass'， (int， Handler)，{"const"：[123]})： 这行代码在主进程中动态创建了一个名为HandlerClass的类。processes = [ multiprocessing.Process(target=stream_process， args=( HandlerClass，)， name=f"server #{i}") for i in range(4) ]： 这里将HandlerClass作为参数传递给子进程的stream_process函数。
注意Windows下事情的多进程机制对对象的序列化和反序列化要求上面。尽量避免传递复杂的对象结构，以减少出现问题的可能性。如果动态类的过程比较同步，可以考虑使用进程池multiprocessing.Pool，它可以更好地管理进程的创建和推理，并减少重复创建带来的创建开销。确保你的代码在Linux和WSL下也能正常工作，以便在不同的平台上获得一致的行为。
总结
在Windows下使用Python多进程处理动态的类时，需要特别注意创建对象的序列化和反序列化问题。通过在主进程中定义动态类，将其作为参数传递给子进程，可以有效地解决PicklingError和AttributeError。同时，避免在子进程中重复创建动态类，可以提高程序的性能。
以上就是Python多进程在Windows下动态类型创建与提交的解决方案的详细内容，更多请关注乐哥常识网其他文章相关！