pandas 加载minio 文件数据
  8KhYbgszLLmZ 2023年11月19日 27 0

就是一个简单记录,基于s3 进行文件存储还是比较方便的

环境准备

  • docker-compose.yaml
version: '3'
services:
  minio:
    image: minio/minio
    ports:
      - "9002:9000"
      - "19001:19001"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
    command: server --console-address :19001 --quiet /data
requirements.txt
主要是依赖,方便通过venv 安装
 
pandas
s3fs
fsspec
pyarrow
services:

读取&效果

  • s3app.py
import pandas as pd
parquet_file = 's3://demo/file2.parquet'
storage_conf = {'endpoint_url':'http://localhost:9002',"key":"minio","secret":"minio123"}
result = pd.read_parquet(parquet_file, engine='pyarrow',storage_options=storage_conf)
print(result.head())
  • 效果

pandas 加载minio 文件数据_参考资料

说明

pandas 对于s3 的读取依赖了fsspec,同时实际读取需要安装对应的s3 实现

参考资料

https://s3fs.readthedocs.io/en/latest/
https://filesystem-spec.readthedocs.io/en/latest/
https://pandas.pydata.org/docs/reference/api/pandas.read_parquet.html

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月19日 0

暂无评论

推荐阅读
  NHaurzrhyr04   2023年12月23日   106   0   0 htmljQueryhtmljQuery
  BEOpup9HILHT   2023年12月23日   79   0   0 htmljQueryhtmljQuery
8KhYbgszLLmZ