Python可以实现并行，Python可以用多进程来实现并行。进程与线程的定义：进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动，进程是系统进行资源分配和调度的一个独立单位。线程是进程的一个实体，是CPU调度和分派的基本单位，它是比进程更小的能独立运行的基本单位。
可以是使用python的多线程处理方法，同时启用100个线程处理任务。
任务执行方式 串行是指任务按顺序执行，完成一个任务后才能进行下一个。这种方式在早期单核CPU时代较为普遍。并行则是指多个任务可以同时执行，这需要多核CPU的支持。 同步与异步 同步是指任务的完成依赖于其他任务，需要等待依赖的任务完成后才能继续执行。
在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。多进程是实现并发的手段之一，需要注意的问题是：例如当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个。。
并发是通过时间轮询的方式实现了伪并行。阻塞与非阻塞：阻塞：只要是涉及到I/O操作或者网络请求的都属于阻塞如read，recv，accept。非阻塞：只要不涉及到I/O，网络请求的在内存中可以直接计算的就是非阻塞，例如：list.append（8），dict[a]=1就是非阻塞。
另外一个进程必须等待其执行完毕，才能继续执行。异步执行：一个进程在执行某个任务时，另外一个进程无需等待其执行完毕，就可以继续执行，当有消息返回时，系统会通知后者进行处理，这样可以提高执行效率。举个例子，打电话时就是同步通信，发短息时就是异步通信。
既然在工作空间有了数据，接下来就是数据变换。统计学家和科学家们通常会在这一步移除分析中的非必要数据。我们先看看数据（下图） 对R语言程序员来说，上述操作等价于通过print（head（df）来打印数据的前6行，以及通过print（tail（df）来打印数据的后6行。当然Python中，默认打印是5行，而R则是6行。
Python和C语言等有一些不一样，它可以逐行解析语句，如下所示，定义一个变量a的值。当你更深入的时候，你就可以使用一些专用的Python开发环境来进行代码编写比如PyChatm和Jupyter。希望可以帮助到你。打开notepad++，选择“设置”，“首选项”选择“新建”，设置编码如图所示。编辑程序内容。
数据分析基本过程包括：获取数据、数据清洗、构建模型、数据可视化以及消费趋势分析。数据准备 数据是存在Excel中的，可以使用pandas的Excel文件读取函数将数据读取到内存中，这里需要注意的是文件名和Excel中的sheet页的名字。读取完数据后可以对数据进行预览和查看一些基本信息。
数据预处理 数据预处理是对清洗完的数据进行整理以便后期的统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。
使用i选项运行python脚本 从命令行运行python脚本的典型方法是：python hello.py。但是，如果在运行相同的脚本时添加-i，例如python -i hello.py，就能提供更多优势。接下来看看结果如何。 首先，即使程序结束，python也不会退出解释器。因此，我们可以检查变量的值和程序中定义的函数的正确性。
学习不同的算法最好结合相应的应用场景进行分析，有的场景也需要结合多个算法进行分析。另外，通过场景来学习算法的使用会尽快建立画面感。
1、线性归一化 这种归一化比较适用在数值比较集中的情况，缺陷就是如果max和min不稳定，很容易使得归一化结果不稳定，使得后续的效果不稳定，实际使用中可以用经验常量来代替max和min。2）标准差标准化 经过处理的数据符合标准正态分布，即均值为0，标准差为1。
2、import pandas as pd 读取数据文件：使用pandas的`read_csv`函数（如果是CSV文件）或其他相应的函数（如`read_excel`、`read_json`等）来读取需要合并的数据文件。
3、可以用pandas读取数据，首先把文件方同一个文件价里，然后对当前文件价的所有内容循环读取，在对读取到的数据处理一下，判断大于1000米的个数，大循环外面定义两广序列，存放文件名和个数，大循环结束后将两广数组组成Dataframe保持到一个新csv里，思路大概是这样。不明白的可以继续问。
4、读CSV 典型的可处理的csv文件，通常含有表头，也就是每列的列名。这样一来，每一行的内容就可以被当作是以表头为key的字典。
1、可见，仅需简短的两三行代码即可实现Python读入EXCEL文件。利用Python处理和计算数据 在第一步和第二步，我们主要使用的是Python的工具库NumPy和pandas。其中，NumPy主要用于矢量化的科学计算，pandas主要用于表型数据处理。利用Python分析建模 在分析和建模方面，主要包括Statsmdels和Scikit-learn两个库。
2、第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。另一种获取外部数据的方式就是爬虫。
3、python怎么分析数据？在不同的场景下通常可以采用不同的数据分析方式，比如对于大部分职场人来说，Excel可以满足大部分数据分析场景，当数据量比较大的时候可以通过学习数据库知识来完成数据分析任务，对于更复杂的数据分析场景可以通过BI工具来完成数据分析。
4、当然Python中，默认打印是5行，而R则是6行。因此R的代码head（df， n = 10），在Python中就是df.head（n = 10），打印数据尾部也是同样道理 请点击输入图片描述 2 在R语言中，数据列和行的名字通过colnames和rownames来分别进行提取。
5、Profiling（分析器）是一个帮助我们理解数据的过程，而Pandas Profiling是一个Python包，它可以简单快速地对Pandas 的数据框数据进行 探索 性数据分析。 Pandas中df.describe（）和df.info（）函数可以实现EDA过程第一步。但是，它们只提供了对数据非常基本的概述，对于大型数据集没有太大帮助。