【Apache Spark】Spark Data Sources

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

本帖隐藏的内容

Spark Data Sources

• Amazon Redshift
• Amazon S3 with Apache Spark
• Cassandra
• Couchbase
• ElasticSearch
• Importing HIVE Tables
• MongoDB
• Oracle
• Reading Avro Files
• Reading CSV Files
• Reading JSON Files
• Reading LZO Compressed Files
• Reading Parquet Files
• Redis
• Riak Time Series
• Connecting to SQL Databases using JDBC
• Zip Files
  

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Apache Spark sources Source apache Spark

1. Scala API
   
2. Copy to clipboardCopy
   
3. // import needed for the .avro() method to become available
   
4. import com.databricks.spark.avro._
   
5. 
   
6. // The Avro records get converted to Spark types, filtered, and
   
7. // then written back out as Avro records
   
8. val df = spark.read.avro("/tmp/episodes.avro")
   
9. df.filter("doctor > 5").write.avro("/tmp/output")

复制代码

谢谢楼主分享！

Thanks

谢谢分享