首页 | 新闻 | 新品 | 文库 | 方案 | 视频 | 下载 | 商城 | 开发板 | 数据中心 | 座谈新版 | 培训 | 工具 | 博客 | 论坛 | 百科 | GEC | 活动 | 主题月 | 电子展
返回列表 回复 发帖

更高效的Python CSV文件导出(1)

更高效的Python CSV文件导出(1)

安装依赖

这里面我们需要安装一个第三方包djangorestframework-csv:
方法如下,使用pip安装到你virtualenv构建的虚拟环境中,当然你如果使用了docker进行环境隔离这儿也可以直接安装你docker容器中。

    $ pip install djangorestframework-csv

有些同学可能不太明白,明明是Django框架怎么和Django REST Framework(简称DRF)扯上关系了,简单解释一下,由于我们Django API开发常常配合DRF进行,所以一般都是一起安装使用了的,把Django和DRF结合起来整个RESTFul API开发效率能大大提高,建议稍微大一点工程化项目都去使用DRF。
使用

使用方式如下:

    继承CSVRenderer 定义一个自己的Render类

    将要生成CSV的字典数据传入该类的方法render方法

    使用HttpResponse或者StreamingHttpResponse进行返回

看起来是不是简单方便,确实就是这么简单,下面我们看一个例子。
例子

废话不多说,直接上代码,先定义一个自己的CSV Render

    # 定义CSV Render
    from rest_framework_csv import renderers
     
    class YourModelRender(renderers.CSVStreamingRenderer):
        header = [
            'phone',
            'remark',
            'create_time',
        ]
        labels = dict([
            ('phone', u'联系电话'),
            ('remark', u'备注'),
            ('create_time', u'时间'),
        ])

这里使用label dict属性将自定义标签应用于CSVRenderer,其中每个键对应于表头header,值对应于该表头header的自定义标签,这样我们各个值就能和header对应起来。

Django导出的view方法,源码如下。

        @list_route(methods=['get']) # 这是DRF生成URL的方式,没用过的可以忽略。
        def example_export_csv(self):
            '''
            CSV 案例
            '''
            queryset = YourModel.objects.all()
            renderer = YourModelRender()
            data = (
                YourModelListSerializer(instance).data ## 得到字典数据
                for instance in queryset
            )
            response = StreamingHttpResponse(
                renderer.render(data),
                content_type='text/csv'
            )
            response['Content-Disposition'] = 'attachment; filename="somefilename.csv"'
            return response

上面几行代码是不是看起来很简单,确实就是这么简单,简单的背后是rest_framework_csv帮我们做了导出功能,底层实现还是昨天我说的那种方式write,writerow的方式。

这里面简单解释一下:

    YourModelListSerializer写过DRF的同学知道这个就是定义数据处理逻辑校验,格式化什么等操作。这里面我们通过YourModelListSerializer复用了其他模块处理逻辑,如RRESTFul的列表数据展示。

    这样大大减少了我们导出CSV还需要去重新处理多个字段组装,过滤,变换等逻辑。因为往往我们列表需要展示数据就是我们CSV要导出的数据。记得几年前那会儿导出数据还要自己重新组装数据,真是酸爽。

    我们这儿用了StreamingHttpResponse,将文件内容进行流式传输,对于实时导出大文件,可以避免服务器断开连接。比起HttpResponse更节约内存。
返回列表